热线电话

热线电话:
400-910-9998

UNIS DataEngine 数据治理

  • 产品概述
  • 系统架构
  • 产品特性
  • 产品优势
  • 产品详细功能
  • 相关资料

产品概述

在当前信息迅速发展的时代,随着互联网技术和物联网技术的不断普及和发展,企业或个人获取、收集信息的渠道也越来越多样化。各种搜索引擎、社交网站、通讯工具层出不穷,使得数据呈现爆炸式增长的趋势,在此大数据时代背景下,针对孤立而纯粹的数据是无法创造出大量的商业价值,我们必须通过数据治理产品,消除数据不可知、不可取、不规范、关联弱四大核心问题,提高数据核心价值。

数据治理产品面向组织(教育、政务、公安等)提供一套构建数据标准体系、元数据管理体系和数据质量体系的全流程数据治理解决方案。该产品通过定义数据标准,采集元数据,进行数据质量检核,对数据进行有效治理。数据标准模块,可以定义标准分类和标准项,用于数据质量检核时判断数据是否符合标准。元数据模块对数据源进行元数据采集,为元数据进行业务分类,定义标签,解析和展示数据流向关系,添加元数据业务描述。数据质量模块主要功能是,管理检核方案及分类,方案中会涉及元数据中的物理表,用于定义检核模型。

检核规则是针对字段级检核,从数据的完整性、规范性、一致性、准确性、唯一性和关联性六个维度17种检核规则及自定义检核规则对数据质量进行把关。可以为数据源绑定照管人,根据检核结果,对照管人进行绩效评分。有效监管数据治理执行结果,保证数据质量。

系统架构

产品特性

功能特性包括:

  • 支持X86服务器部署及虚拟机部署
  • 支持一键式自动化安装与卸载
  • 支持portal单点登录
  • 支持mysql、oracle、hive、mpp、postgreSQL多数据源元数据采集
  • 支持Rest API的在线数据对接
  • 支持ETL任务对应XML文件的解析
  • 支持针对元数据多维度数据分析展现
  • 支持代码映射管理
  • 支持多维度数据质量分析展现
  • 预置17种度量规则,6种质量维度,支持自定义规则
  • 支持自动定时任务调度,手动调度检核任务
  • 支持通过告警快速查看系统存在的问题
  • 支持在线输出日志,如运行日志
  • 支持权限管理

产品优势

高效可靠的可扩展平台

平台提供数据层、应用层等多层次的数据交换,提供基于文件、关系数据库、接口服务等三种交换方式。

报告多样化展示

支持使用Echarts图表展示各种概览和报告,支持下钻,直观地展示不同维度的统计信息。

数据层级关系清晰

支持使用ztree展示多层数据目录结构,支持各层级的挂载数据表、添加、删除及编辑操作。

血缘关系解析

支持DI和kettle文件解析,拥有强大的数据血缘功能,能实时获取数据在系统中的流动变化。

任务调度方式多样化

采用Quartz实现稳定的任务调度,支持手动调度和基于时间的自动任务调度。

任务并发执行

使用Quartz实现多任务、高并发的元数据采集任务和质量检核任务,同时能动态刷新和监控最新的任务状态。

检核规则多样化

支持六种维度下17种细化的度量规则,同时,拥有强大的自定义sql功能、满足多样化的需求。

多种数据展示方式

数据质量检核结果,支持页面查看报告、报告导出PDF、及导出具体的错误文件,满足用户不同的查看数据的需求。

产品详细功能

元数据概览

元数据概览模块由三部分组成,一部分为总量统计图,第二部分为存储空间、表数量趋势图,第三部分为Top5统计图。

元数据详情

采集元数据入库以后,对表的元数据信息进行分析,可以清楚地了解到该表的历史和来龙去脉。

数据目录

用户可以创建自己的目录,将已经被采集过的元数据的数据源添加到自己创建的目录下,便于用户管理不同数据源的元数据信息。

资源管理

资源管理主要有三块组成,分别为:数据源、ETL和元模型。数据源模块对用户所录入的数据源进行管理,如数据源的新增、删除和修改等;ETL管理包含ETL任务的上传、解析和删除,同时支持批量上传;元模型模块可以实现系统定义模型的展现和用户自定义模型的创建,以便用户更好的采集所需元数据信息。

采集管理

该模块主要是对已经添加的数据源进行采集管理并且查看采集历史,其中元数据采集又分为手动采集和自动采集两种方式,采集完成后将采集到的元数据入库。

数据地图

该模块从宏观层面将元数据流向以流程图的形式直观的展现给用户,充分挖掘企业信息的潜在价值。

元数据搜索

告警功能可以实时检测系统运行时出现的各种告警,目前能检测到的告警种类有服务器与执行器所在节点系统时间有差异、ETL任务出现异常、元数据异常等。

  • 告警信息查看
  • 针对每条告警的解决方案,任务失败告警可查看失败任务环节日志

主数据概览

主数据概览主要展现数据标准主体数量、代码标准主体数量、数据总量、存储总量,并以饼状图、柱状图的形式展现数据标准集目录下主体数量分布、代码标准集目录层级下主体数量分布以及数据总量和存储总量的分布情况。

主数据标准

主数据标准分为两块:分别为数据标准集和代码标准集,以目录形式进行维护,在数据标准集和代码标准集节点上可添加子目录,或者挂载数据源。

代码映射管理

该模块主要为了完成业务系统中业务代码表和标准码表之间的映射关系的添加、编辑和删除操作,同时针对已经添加完成的映射列表支持导出成Excel文件。

数据质量概览

通过数据质量概览模块我们可以看出数据总量统计图、检核数据量、错误数据量趋势图以及Top5统计图。

数据质量定义

数据质量定义包含四大部分,分别为:方案分类管理、度量规则管理、检核流程管理、检核方案管理,解决了我们如何对数据质量进行定义问题。

数据质量监控

数据质量监控模块是数据质量管理系统的核心,通过设置检核任务、执行检核任务,找出用户关心的数据质量问题,并支持对系统中已有的检核任务进行监控和管理。

数据质量分析

数据质量分析模块是数据质量问题暴露的窗口,对问题数据进行检索、分析,从而分析数据质量问题症结所在,包括:汇总数据列表、错误汇总列表、质量得分分析、检核规则统计、检核规则分析、问题波动分析等功能。

数据质量报告

数据质量报告模块是数据质量情况的直观呈现,同时也提供了多种维度的报告内容:数据源报告、检核方案报告、度量规则报告、问题趋势报告。

问题数据处理

问题数据处理模块是数据质量检查的后续环节,属于数据治理部分,用于处理检查出的问题数据。

治理绩效考核

通过对数据照管人进行绩效考核,推动数据治理的进程,包含以下功能:数据照管人绩效、绩效权重设置。

系统消息管理

系统消息管理主要主要包含了三部分内容:对系统中已有的消息模板进行管理、对系统中已有的联系人信息进行管理、对系统中所有的系统消息进行管理。

相关资料

确定