方案概况
在数据仓库的建设中需要从各种源头业务系统中把数据统一采集到数据仓库中,在统一的基础平台上对数据进行加工。在数据生产的链条中,保障数据产出的稳定性和数据产出的质量是数据仓库建设中的重要内容。
数据仓库
大数据开发
大数据管理
数据质量
-
ADS
分析型数据库 -
CDP
-
ODPS
大数据计算服务
DCP

数据源
历史数据
数据库数据
云上数据
日志数据
-
大数据集成
通过稳定高效、弹性伸缩的大数据集成服务,将分散在不同物理环境下 的数据统一采集到大数据计算服务中。可以实时、增量或全量的方式进行数据同步
-
大数据计算服务
它能提供快速、完全托管的PB级数据仓库解决方案,使您可以经济并高效的分析处理海量数据。
-
大数据开发
在大数据计算服务中,存储采集到的业务数据,利用服务提供的多种经典分布式计算模型,按照数据仓库设计的数据模型,对数据进行实际加工计算。
-
大数据管理
通过大数据管理工具,进行数据资产管理、数据生命周期管理、元数据查询和管理、数据血缘查询等工作。并可以制定数据质量报警规则。
解决方案优势
-
强大的数据整合能力
不管是存量的历史数据,还是不同应用系统的数据,都可以通过数据采集工具统一采集到大数据平台中。满足用户整合不同系统数据,统一加工分析的需求。
-
多样的计算引擎
大数据平台的分布式计算服务提供多样的数据计算引擎,SQL、MR、图计算、MPI等,满足针对不同数据类型、进行不同类型加工的需求
-
强大的数据处理能力
大数据平台的大数据计算服务能够帮助用户针对TB/PB级数据进行分布式的数据加工,后台强大得计算能力,支持用户做更深度更复杂的处理。
-
多样的数据质量保障手段
大数据平台的数据管理工具为您提供多种数据质量保障手段,使你对数据采集、加工、应用的过程进行全链路的数据监控和保障。
-
全链路的数据生产保障
大数据平台的数据开发过程中,您可以进行全链路的数据加工过程。整个过程被我们稳定的调度系统进行生产调度。生产过程中任何问题都会及
-
全方位的数据安全掌控
大数据平台提供全方位的安全管控,多层次的存储和访问安全机制,保护您的数据不丢失、不泄露、不被窃取。