热线电话

热线电话:400-910-9998

UNIS DataEngine 数据共享交换

  • 产品介绍
  • 产品架构
  • 功能模块介绍
  • 典型案例分析
  • 相关资料

产品介绍

产品概述

近年来随着电子政务建设的深入发展,政务信息资源交换已成为各地急需解决而又未能很好解决的重大难题,政务信息资源交换体系的建设已成为继政务网络建设后又一重要基础建设。国家标准局发布的《政务信息资源交换体系》标准表明了国家对各地建设政务信息资源交换体系高度重视,并为之提供了理论上及技术上的指导框架,同时为各地数据中心的建设和利用提供了 技术指引,推进政府信息资源开发 利用和共享,已成为当前及未来一 个时期信息化建设的核心和关键。

数据共享交换平台在组织部、政务 各部门、政府与社会机构、政府与普通群众之间构建起数据的桥梁。对于政府,其一:通过数据共享交换平台拉通部门间的应用,变“数据为人跑腿”,提高党建及基层便民惠民服务办公效率,更好的为民服务;其二:通过数据共享交换平台汇聚组织部及各政府部门的数据,在大数据平台中可对这些数据资源进一步的集成、深加工,形成更高价值的数据资产,随后又可通过数据共享交换平台对这些数据能力进行输出,形成“数据”和“应用”之间的环流。

数据共享交换平台按照以科学发展观为指导,坚持需要和可能结合、技术和业务并重、共享和交换并行,总体规划、分步推进、集约建设、共建共享的思路进行建设。

产品特点

  • 支持系统7*24小时不间断运行,保证系统可靠性。
  • 持以拖拉拽方式完成数据共享,易用性好。
  • 支持数据传输加密、用户权限控制、数据追溯,保证数据共享安全性。
  • 支持满足国家标准的三种数据共享方式:文件共享、关系型数据共享、接口共享,不依赖于第三方产品,具有自主知识产权。
  • 支持PB级别数据分布式存储、处理和应用能力,并以目录为基础实现数据共享、交换、开放设计。
  • 支持数据按照全量和增量两种模式交换,并支持全量模式与增量模式互相转换,支持大数据采集与共享。
  • 提供异常告警机制,对系统运行和传输异常状况,可通过页面进行提醒。
  • 支持主动/被动、发布/订阅、实时/定时数据采集和共享交换处理,支持双向数据交换和共享。
  • 具备良好的开发性和扩展性。允许用户根据需要,对适配器进行二次开发和扩充。

技术优势

  • 高效可靠的可扩展平台

    平台提供数据层、应用层等多层次的数据交换,提供基于文件、关系数据库、接口服务等三种交换方式。

  • 高扩展低维护的特性

    系统具备足够好的可扩展能力,各子系统之间是松耦合的,通过统一的分布式消息传递及服务器文件系统等技术,实现政务信息资源高度整合和集成化,每个子系统的变化不会对系统的其他部分造成影响。

  • 强大的系统能力

    系统遵循国际主流的SOA架构体系,采用先进、主流、可靠、安全、开放、实用、性价比好的系统架构,具有优秀的技术能力。

    多种交换方式:支持文件、结构化数据、接口三种类型文件的共享交换,并具备良好的负载均衡能力,支持大数据包的交换,且数据量大小不受限制。

    交换传输:支持多种传输协议,针对关系型数据支持数据的加密、脱敏、过滤、压缩,同时传输过程中,通过用户权限控制保证数据的安全性。

    时数据同步:数据同步支持异构数据源之间的数据复制,支持实时、定时、订阅/发布、手工等数据复制模式。

    安全性:对共享数据进行访问权限设置、访问标准或者分发标准。基于安全基础服务,通过对敏感信息进行加密等手段,提供消息的加密/解密、数字证书认证等功能,实现信息内容的保密和操作的不可抵赖性;基于日志,实现对数据交换任务进行追踪和事后审计。

产品架构

软件组成

产品组成图

架构图

产品组成图

功能模块介绍

资源目录

信息资源目录系统是实现信息资源共享、业务系统和数据开放的基础,通过信息资源目录,按照一定的分类方法对信息资源进行分类,可以实现信息资源的检索、定位与获取。本产品严格依照国家标准规范,并结合在政务、教育的多年实践经验,开发出能够适应政务、教育等行业的信息交换平台,实现信息资源的共享、快速发布、快速检索等功能,真正实现信息资源的价值。

技术特点

  • 一键式安装部署

    只要将安装包放到服务器指定位置,支持一键式安装部署,避免了现场人员琐碎的服务关系梳理、端口冲突等问题。

  • 采用前沿主流技术特性

    采用echarts动态库、丰富的图表样式、酷炫的动画效果进行数据统计展示与分析。

    前后台分离式开发和部署。

  • 支持多元化的共享交换方式

    提供库表、文件、服务接口调用等数据共享交换方式,满足用户多样 化需求。

  • 完善的流程控制

    通过分级的用户、权限、角色控制实现权限控制,与目录系统具有相同的权限角色控制。可定制化的分级权限控制管理。

  • 业务高效在线审批

    拥有一套完善的审批流程机制,提供快速审批入口,汇总各类待审批信息,同时提供批量审批功能。

    用户可实时查看、处理待审批业务,加速跨部门协作效率。

  • 信息实时在线交换

    作为共享门户与交换中心的中间枢纽,支撑两个系统数据的实时转换处理,共享门户通过订阅申请、审批,再请求资源目录系统,资源目录系统与交换中心交互,进行订阅数据请求,交换中心抽取、转换委办局数据,进行真实的数据转换调度。

  • 登录权限安全控制

    前端采用cookies tokens,后端采用spring security双重校验,并且设置了登录超时设置。

  • 本地化存储

    采用H5新特性localstorage、cookies进行存储http请求的路由信息,充分利用http请求特性,减少请求次数和本地存储http信息。

  • 数据可视化展示

    采用echarts图形化数据,对数据进行统计、归纳、对比,进行图形展示,提供决策和监测依据。

  • 大数据处理环境

    面向数据提供数据全流程服务,海量处理环境为容器,积累数据资产、提升治理能力。

数据共享门户介绍

UNIS政务信息共享门户平台,是一个服务于市政务单位,用于政府单位之间数据共享、数据交换、数据控制、数据管理、数据统计的共享资源平台。

共享平台包含功能:数据目录展示订阅、API接口展示订阅、应用展示和管理、政策法规展示和管理、系统管理(包含部门、权限、权限等控制管理)等功能模块。

技术特点

  • 微服务架构

    springboot简化新Spring应用的初始搭建以及开发过程。该框架使用了特定的方式来进行配置,从而使开发人员不再需要定义样板化的配置创建独立的Spring应用程序,能够创建独立的Spring应用程序,嵌入的Tomcat,无需部署WAR文件,简化Maven配置,自动配置Spring,提供生产就绪型功能,如指标,健康检查和外部配置,绝对没有代码生成和对XML没有要求配置。

  • 基于spring框架的安全机制

    Spring Security 基于Spring框架,提供了一套Web应用安全性的完整解决方案。一般来说,Web应用的安全性包括用户认证 (Authentication)和用户授权(Authorization)两个部分。用户认证指的是验证某个用户是否为系统中的合法主体,也就是说用户能否访问该系统。用户认证一般要求用户提供用户名和密码。系统通过校验用户名和密码来完成认证过程。

  • 一键式安装部署

    只要将安装包放到服务器指定位置,支持一键式安装部署,避免了现场人员琐碎的服务关系梳理、端口冲突等问题

  • 前沿技术特性

    采用echarts动态库、丰富的图表样式、酷炫的动画效果进行数据统计展示与分析;

    前后台分离式开发和部署;

  • 流程控制

    通过分级的用户、权限、角色控制实现权限控制,与目录系统具有相同的权限角色控制。可定制化的分级权限控制管理。

  • 信息在线实时审批、交换

    通过与目录系统订阅申请、审批,再请求目录系统,目录系统与交换中心交互,进行订阅审查、审批,交互中心抽取、转换委办局数据,进行真实的数据转换调度。

  • 共享平台数据分析

    通过共享平台本身访问量、收藏量、订阅量,进行统计分析热门接口、目录、应用

  • 最新政策法规实时共享

    用户可以创建政策法规,实现最新资讯实时共享

数据开放门户介绍

信息资源目录系统是实现信息资源共享、业务系统和数据开放的基础,通过信息资源目录,按照一定的分类方法对信息资源进行分类,可以实现信息资源的检索、定位与获取。本产品严格依照国家标准规范,并结合在政务、教育的多年实践经验,开发出能够适应政务、教育等行业的信息交换平台,实现信息资源的共享、快速发布、快速检索等功能,真正实现信息资源的价值。

技术特点

  • 一键式安装部署

    只要将安装包放到服务器指定位置,支持一键式安装部署,避免了现场人员琐碎的服务关系梳理、端口冲突等问题

  • 采用前沿主流技术特性

    采用echarts动态库、丰富的图表样式、酷炫的动画效果进行数据统计展示与分析;

    前后台分离式开发和部署;

  • 支持多元化的共享交换方式

    提供库表、文件、服务接口调用等数据共享交换方式,满足用户多样化需求。

  • 完善的流程控制

    通过分级的用户、权限、角色控制实现权限控制,与目录系统具有相同的权限角色控制。可定制化的分级权限控制管理。

  • 业务高效在线审批

    拥有一套完善的审批流程机制,提供快速审批入口,汇总各类待审批信息,同时提供批量审批功能。

    用户可实时查看、处理待审批业务,加速跨部门协作效率。

  • 信息实时在线交换

    作为共享门户与交换中心的中间枢纽,支撑两个系统数据的实时转换处理,共享门户通过订阅申请、审批,再请求资源目录系统,资源目录系统与交换中心交互,进行订阅数据请求,交换中心抽取、转换委办局数据,进行真实的数据转换调度。

  • 登录权限安全控制

    前端采用cookies tokens, 后端采用spring security双重校验,并且设置了登录超时设置。

  • 本地化存储

    采用H5新特性localstorage、cookies进行存储http请求的路由信息,充分利用http请求特性,减少请求次数和本地存储http信息。

  • 数据可视化展示

    采用echarts图形化数据,对数据进行统计、归纳、对比,进行图形展示,提供决策和监测依据。

  • 大数据处理环境

    面向数据提供数据全流程服务,海量处理环境为容器,积累数据资产、提升治理能力。

前置系统介绍

前置系统的目标用户是客户,前置系统主要用于展现客户换入、换出数据统计,以及客户发布和订阅任务的管理,通过前置系统,可以实现用户业务系统和前置库数据同步,保证应用单位业务信息库和业务应用系统的独立性,保证数据安全。

技术特点

  • 数据桥接

    保证业务系统与前置交换信息库的信息同步,提供各类型数据库、多种文件及大数据的适配能力,支持多种增量采集方式。

  • 支持多种协议数据传输

    支持多种数据传输协议,如http、ftp等,保证数据安全可靠的传输。

  • 多种数据源支持

    支持Oracle、SQL Server、MySQL、达梦数据库、PgSQL。

  • 支持数据加密

    系统上下行输出任务支持加密、解密、过滤、脱敏,保证数据传输过程的安全性。

  • 运行监控

    支持监控前置机硬件运行状态,告警信息持久化至业务库,并通过心跳定期通知交换中心。

  • 多种数据更新方式

    支持数据的全量抽取、增量数据更新。

交换传输软件

传输系统的职责是将数据从一个部门传输到其他一个或多个部门。在传输过程在保证数据的一致性的情况下,提高传输效率。

技术特点

  • 传输高效性,至少支持12000条/秒数据传输;
  • 高并发性,至少可支持并发200对前置系统间的数据传输;
  • 支持传输过程的数据压缩传输,减小传输带宽;
  • 支持数据持久化时间可设置
  • 支持数据容灾
  • 支持断点续传

交换中心介绍

交换中心是对整个数据交换过程中数据内容的管理配置,任务流程的管理配置,交换监控信息的统计分析等。提供图形化的配置工具,实现对整个信息交换过程的流程配置、部署、执行和整个交换平台运行进行监控、管理。具体包括数据交换适配管理、交换节点管理、交换流程管理等。

技术特点

  • 页面化操作,易用性高

    通过web界面化操作,轻松实现发布信息的处理,易用性强。

  • 丰富的图表类型

    支持柱状图、饼状图、文字、表格、图片、边框、形状等常用图表展现目录统计、部门交换统计和节点交换统计。

  • 实时任务监控

    通过多线程机制实时监控不同部门发布订阅任务,完成任务列表实时刷新和数据同步。

关联关系配置系统介绍

关联关系配置系统的目标用户主要是系统的运维人员,通过该系统运维人员可以看到用户发布的共享数据详细信息,具体包含发布者名称、目录名称、订阅字段信息、订阅类型、订阅者信息、订阅处理时间等;在未处理页面中,通过点击订阅配置可以对发布者发布的消息进行处理,从而完成数据共享。

技术特点

  • 界面化操作,提高易用性

    通过web界面化操作,轻松实现发布信息的处理,易用性强。

  • 一键式安装部署

    只要将安装包放到服务器指定位置,支持一键式安装部署,避免了现 场人员琐碎的服务关系梳理、端口冲突等问题。

  • 完备的安全机制控制

    通过用户、角色权限的控制,保证系统安全性。

服务生成软件

UNIS DSGenerator(UNIS Data Services Generator,数据服务生成系统),其通过提供一个简单易用的平台来将数据源生成服务接口。数据服务生成系统主要是将不同数据源(包括 RDBMS、Excel、CSV文件、 MPP、Hive、Spark SQL、 HBase、Phoenix、Carbon Datasources、Cassandra、Google Spreadsheets、RDF、JNDI Datasources、Custom Datasources等)的数据生成并发布成Web Service服务。UNIS DSGenerator系统通过Web浏览器便可以友好地访问,并且实现了零编码便可快速地生成数据服务。另外,UNIS DSGenerator系统自带高效容器,可以稳定支撑Web Service服务运行,并具有良好的并发处理能力。

技术特点

  • WEB图形化配置管理

    通过图形化界面提供更友好的用户界面和更加便捷的操作方式。

  • WS-* & REST 支持

    同时支持面向活动型和面向资源类型的服务生成,通过图形化界面配置,操作更方便,更灵活。

  • 支持多种数据源类型

    可以同时支持基于RDBMS (MySQL、Apache Derby、 Microsoft SQL Server、Oracle、IBM DB2、HSQLDB、Informix、PostgreSQL、Sybase ASE、H2、Generic)、DataEngine (MPP、HIVE/SPARKSQL、PHOENIX)、Cassandra、MongoDB、CSV、Excel、RDF、SPARQL Endpoint、Carbon Datasources、Google Spreadsheets、JNDI Datasources、Web Datasources、Custom Datasources (Custom Tabular DataSource、Custom Query DataSource)数据源完成服务生成。

  • 可靠的安全策略,包括数字证 书等验证

    为了保证服务信息的完整性、保密性,通过用户令牌、签名、加密、安全会话、数字证书等多种方式进行保证服务安全。

  • 高性能,高可用性,高扩展性和稳定性

    项目基于Java语言进行开发,Java语言多线程、与生俱来的跨平台特性和强大的类库支持,使得系统具备更好的性能、扩展性和稳定性。

  • 简洁实用的辅助工具

    提供了SOAP监控、java2WSDL等工具,在方便用户了解当前系统运行状况,增强健壮性的同时还增加了易用性。

  • Web Service在线测试和消息拦截功能

    针对已发布的services服务进行测试,帮助用户检查该服务是否存在逻辑上的错误,同时通过安全验证保证服务的安全。

  • 轻量级,开发者友好和易于部署

    UNIS DSGenerator通过简单易用的平台来将数据源生成服务接口,实现了零编码完成数据服务生成,简单易用,同时通过一键安装,部署更加方便快捷。

典型案例分析

共享交换业务流程图

应用图

相关资料