技术背景

大数据时代的到来，数据正以前所未有的速度爆发性增长，数据已经成为土地、能源等传统资源之外的一种新资源。大量的数据来自不同的源头，杂乱无章，质量参差不齐。一般单位少则十几个信息系统，多则几十上百个，这些系统之间若沟通不畅，会产生数据孤岛，造成工作效率低下。一方面大量数据闲置，无法有效被利用，另一方面数据被重复录入，费时费力，容易产生差错。

只有可管理，可调用，可计算，可变现的数据资源才能成为资产，才能服务政府，城市和产业，帮助实时统筹科学决策。正确决策来源于对实际情况的了解，某种意义上说，就是对来自各方的各类数据的正确汇集、整理、归纳、分析，从而得出正确的结论。

数据集成是把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中，通过应用间的数据交换从而达到集成，解决数据的分布性和异构性的问题，从而为企业提供全面的数据共享。

产品简介

威廉希尔中文网站大数据集成系统是一款基于分布式并行计算架构开发的ETL数据集成系统。采用组件化设计，适配混合主流云，提供多种类型的数据抽取、整合插件、监控组件、作业流程模型，支持快速定制插件开发，具备高吞吐、高可用、高扩展特性，为海量数据的超大规模数据仓库建设提供抽取、整合、清洗、入库等集成业务。

技术架构

运行架构

系统运行具有高可用的特性，会自动感知执行引擎异常，将异常设备的任务转发到正常设备上重新执行。运行架构如下图：

部署架构

系统部署包含应用端、调度引擎、执行引擎。

ETL-应用： 完成数据集成逻辑的工作流建模和日常监控管理。

ETL调度引擎：统一执行逻辑的调度控制和任务分发，分布式管理。

ETL-执行引擎：ETL任务的具体执行器。

部署架构如下图所示：

产品优势

■高吞吐处理能力：采用多线程处理算法，高效的内存利用率；任务运行过程无需本地磁盘IO操作，提升整体单位时间的大批量处理能力；支持TB/h级的大数据集成业务性能。

■高扩展、高可靠：并行架构提升单机处理能力的线性扩展；新增执行引擎的快速部署和自动识别，分布式架构提升多机处理能力的线性扩展；执行引擎宕机的自动识别和任务转移，保证任务的顺利执行。

■可视化流程配置：通过简单的图形拖拽配置数据集成流程，简单易用的专业化配置。

■集成业务全流程监控：可对处理过程的每个步骤，每个子流程处理进行实时监控，简单快速发现处理过程遇到的漏数据，错处理等问题。

■统一的元数据模型：基于统一公共仓库元模型，可与产品线其他产品无缝对接，简化整体解决方案的实施运维。

■大数据技术支持：支持主流的关系型数据库，NOSQL数据库,全文库处理等主流大数据产品的抽取入库，以及异构库之间的抽取入库。

■低廉的硬件成本：使用x86架构的PCServer，无需昂贵的unix服务器。

■数据源支持：支持超过40+数据源的链接包括国产数据库。

■业务规则支持：支持自定义数据检查规则、质量规则、补全规则等，可以实现复杂的数据集成需求。

■处理模式：支持批流一体化处理，大幅提升数据的采集和同步时间。

■快速扩展支持：提供插件开发SDK，可快速定制开发所需的业务插件。

1、系统在某地配置管理2000余个大数据治理作业，支撑日增量百亿级别的数据抽取、整合、清洗、转换、入库等集成业务，运行稳定。

2、系统在多地已经分别与华为云、腾讯云、华三云、阿里云，甚至是一地多云进行适配对接，完成数据的抽取、整合、清洗、转换，入库等集成业务。