数据中台




数据中台

技术架构

解决的问题

平台优势

平台价值

核心功能

  • 多源数据采集
  • 角色安全配置
  • 数据清洗处理
  • 数据异常检测
  • 数据监控

多源数据采集

通过构造多种来源数据的模块,实现与多种类型来源数据的统一对接,包括物联网网关平台、物联网设备平台、通用接口、文件、Hive、HBase、MySQL、Oracle等多种类型数据来源的接入。

角色安全配置

系统配置提供5A安全体系所需的功能,包括账户、授权、鉴权、访问控制。管理员能够通过安全管理的界面对用户账户、角色、权限、访问渠道和频次进行管理和监控。另外,安全管理还支持多租户的方式划分系统资源,实现大数据的资源隔离、共享和高效利用。

数据清洗处理

通过数据清洗功能,能够实现对接入数据的清洗与标准化,形成有效数据。其处理流程如图所示:

数据异常检测

数据异常检测功能可以在不需要人工手动建立模型的情况下对数据进行常规检测并及时发现数据异常。

数据监控

为运维人员提供了全方位的大数据平台监控工具,包括数据源状态监控、数据质量监控、任务监控、组件监控、系统资源监控和前置节点(采集器)监控,够对数据中台已经接入的多种数据进行监控。