直播回顾 | 论道原生：云原生大数据建设实践

6月28日「DaoCloud道客」架构师王百川与数新网络大数据解决方案总监若谷在论道原生直播间分享了云原生大数据解决方案、数据中台建设及技术方案，展望行业未来，释放数字经济发展新动能。具体内容如下：

云原生大数据解决方案

• 大数据架构发展历程

  架构1.0 - Shared Everything Architecture：性能易估算，硬件适配广，技术门槛低，易实现数据一致性。但算力提升受限单机性能，资源按峰值规划效率低，响应时间与吞吐量难兼顾，容错和高可用代价高。

  架构2.0 - Massively Parallel Processing：并行处理能力强，性能优异，可通过横向扩展节点提升计算能力，数据冗余实现高可用，能并行读写，吞吐性能好。但系统复杂、维护成本高，数据再均衡致性能下降和不可用，大数据量时硬件成本高。

  架构2.0 - Hadoop：支持结构化/非结构化异构数据收集，可横向扩展节点提升计算能力，内置数据冗余保障高可用，技术生态丰富，场景覆盖完善。但生态系统多，管理复杂，小数据集查询效率低，数据再均衡影响性能。

• 大数据架构3.0 - Cloud Native Data Processing Architecture

  理念优势：计算/存储可灵活按需弹性扩展，各层有内置容错策略，有类似MPP的高吞吐率性能，可按场景需求供给计算资源。

  面临挑战：存储网络访问性能要求更高、潜在引入两层调度造成资源利用率低、原有大数据系统迁移成本高，但随着技术进步可解决。

• 云原生与大数据结合方式

  MPP体系的原生化 - 以Greeplum (GP)为例：容器化封装GP实现平台移植性和依赖管理，Kubernetes管理GP容器实现高可用性和弹性，Kubernetes Operator实现运维管理自动化。通过Kubernetes运行GP，可实现分钟级别按需部署，跨平台一致可复现体验；资源共享、知识复用、高效运维降低成本；预制不可篡改软件镜像、内置安全加固；资源隔离、健康检查与自恢复保障平台稳定；计算存储分离，实现基于云平台的高度自动弹性扩展。

  Hadoop体系的原生化 - 以Spark为例：Google在2016年发起「apache-spark-on-k8s」项目，推动Spark与Kubernetes融合，2018年正式合并到主版本，Spark 2.3发布。使用Kubernetes运行Spark，可通过统一平台高效标准化管理，数据分析全流程大部分已容器化。Spark应用资源与其他应用资源共享，实现集中式资源调度。利用Kubernetes技术能力可快速实现多租户隔离、资源配额管理、RBAC等高级集群管理能力，充分利用活跃的Kubernetes生态，如监控、日志等，还能通过Kubernetes在不同云提供商之间实现跨云迁移。

• 「DaoCloud道客」云原生大数据中台解决方案

  方案概述：打造一站式云原生大数据智能平台，提供覆盖分布式基础设施、数据集成、数据开发、数据运营、数据智能等多功能模块的数据开发及服务能力。

  方案优势：以云原生技术为底座，实现存算分离、弹性调度、更好的资源隔离等能力，支持混合云等多种异构环境部署，保障业务灵活性，帮助企业快速实现业务目标。提供可插拔的数据引擎服务，可根据业务需求编排引擎处理模式及定制化开发。实现自助化数据开发、自动化数据发布、智能化数据安全，提升大数据平台服务易用性和便捷性。采用湖仓一体，批流一体等先进大数据架构，满足客户对各类型数据存储、实时处理的需求。提供数据治理咨询服务，帮助客户构建数据中台，配合方案体系中顶层的应用与专家服务，实现数据战略。

  方案特点：全部产品模块与计算引擎容器化、云原生化、模块化。松耦合模块设计可灵活嵌入与优化企业原有平台体系，减少升级替换成本和影响。

数据中台与技术方案

• 大数据的概念与特点：无法在一定时间范围内用常规软件工具进行捕捉，管理和处理的数据集合，需要新的处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产，具有容量大、速度快、价值低、多样性的特点。
• 大数据的发展历程：萌芽于20世纪末，21世纪初迅猛发展，短短十年日增数据量达TB（百亿），甚至PB（1024TB）。2010年后，信息化时代逐步迈入数字时代，各国积极布局大数据战略，从事大数据的社会资源逐年增加，成果不俗。
• 大数据管理利用的挑战与破局

  面临挑战：数据找不到、不敢用、不会用，人们将80%的时间用于数据准备，分析数据仅占20%。

  破局方向：

  用户如何快速、准确地发现和使用最合适的数据？

  在资源受限时，如何识别出重要的数据，重点保障业务使用、提升数据服务质量？

  升级公司数据文化，如何让各部门都有参与感，部门各自价值怎么体现？

  从全局来看，公司是否有管理的抓手？数据资产是否可运营？是否有全局一盘棋的视野。

• 数据中台的概念与作用

  概念：是一套可持续“让企业的数据用起来”的机制，一种战略选择和组织形式，依据企业特有的业务模式和组织架构，通过有形的产品和实施方法论支撑，构建一套持续不断把数据变成资产并服务于业务的机制；简单来说就是提取各个业务的数据，统一标准和口径，通过数据计算和加工为用户提供数据服务。

  作用：数据中台的整个产品体系覆盖了从数据集成、存储、治理、计算、服务的过程。

• 数据中台的具体应用

  数据集成：将业务侧多路异构数据统一汇聚到中台，涉及数据离线开发、实时开发、算法开发、智能调度等。

  数据仓库构建：按照数据仓库方法论构建相应主题库，如信用、用户、产品等。

  数据资产管理：包括原数据标准、数据质量、数据生命周期等，用于数据资产治理。

  数据服务体系：向上层生产系统提供应用，如为管理层提供数据决策类支持，由数据大屏、驾驶舱组成；也可为上层业务创新应用提供数据支撑。

  数据安全管理：必不可少。

  运营管理体系：负责产品运营的用户可在中台上进行数据运营、产品运营相关工作。

很赞哦!（3917）