热线电话

热线电话:400-910-9998

UNIS DataEngine IT 大数据

  • 产品定位
  • 产品构成
  • 主要特性及优势
  • 运行环境
  • 相关资料

产品定位

UNISData机器数据分析决策系统(IT大数据)聚焦于机器数据的价值挖掘,是企业级的机器大数据解决方案提供者。

机器生成的数据即机器数据,不仅包含日志、流量,还包括配置信息、交易数据、传感器数据、应用系统运行记录、工业系统数据等。一般的数据分析产品,通常关注商业应用程序生成的数据和人为生成的数据,机器数据则往往被忽略。机器数据一直处于混沌状态,不同种类的机器数据相互孤立,很难发挥其价值。UNISData机器数据分析决策系统,对机器数据进行收集、存储、分析、挖掘和展现,其结果在业务分析、流量分析、安全审计、运维分析等多个方面,都有广泛的应用价值。

产品构成

产品由ITOA大数据分析平台、网络流量大数据 分析和管控系统和日志数据分析系统三大部分构成。

ITOA,即“IT运营分析”(IT Operations Analytics),其核心目标是“运营”而非“维 持”,即通过数据分析手段指导和促进业务发展,帮助提升运维人员话语权。ITOA平台的核心能力包括:全网机器数据采集、全文检索、可视化分析智能告警和关联查询。ITOA平台是机器数据的分析利器,可帮助IT专家实现快速排障、故障预判、关联分析和决策支持。

网络流量大数据分析和管控系统聚焦于网络流量数据,采用大数据技术和丰富的数据模型进行深度分析,可以发现其中的规律和趋势,挖掘数据内在的价值,将网络运维工作带入一个新的领域。一方面在运维思路上,将从关注“网络通断”的传统运维管理提升到关注“网络流量内容”的智能化、精细化的网络管理;另一方面将从原有的故障事后处理的被动响应转化为故障事前预测,通过趋势分析结合智能管控手段,有效地避免异常的出现,实现网络运维的主动性预防。

日志数据分析系统为用户提供一个海量日志数据处理分析平台,对常见的操作系统日志、网络设备日志、设备日志、中间件日志等原始数据提供深度事件分析工具,将各种日志进行关联分析,发现更深层次的问题并进行自动化的预警,具备强大的知识库,针对出现的问题提供智能化的解决方案。

主要特性及优势

海量存储计算

平台采用分布式架构,可线性扩展到上千节点来存储和处理PB级的数据。

高效全文检索

基于分布式企业级实时搜索引擎,具备优秀的检索性能,支持全文检索功能,亿条数据查询秒级返回。

全数据源采集

支持采集服务器、安全设备、网络设备、操作系统、数据库、应用系统等数据源的日志文件。无需修改代码即可适配新设备的日志格式。

数据类型 位置 它可以告诉您什么
应用日志 本地日志文件、log4j、log4net、Weblogic、WebSphere、JBoss、.NET、PHP 用户活动、欺诈检测、应用性能
业务流程日志 业务流程管理日志 跨渠道客户活动、购买、帐户变更以及问题报表
呼叫详细信息记录 呼叫详细信息记录(CDR)、计费数据记录、事件数据记录均由电信和网络交换机所记录。 计费、收入保证、客户保证、合作伙伴结算,营销智能
点击流数据消息队列 Web服务器、路由器、代理服务器和广告服务器 可用性分析、数字市场营销和一般调查
消息队列 JMS、RabbitMQ和AquaLogic 调试复杂应用中的问题,并作为记录应用架构基础
数据库审计日志 数据库日志文件、审计表 如何根据时间修改数据库数据以及如何确定修改人
文件系统审计日志 敏感数据存储在共享文件系统中 监测并审计敏感数据读取权限
管理并记录API 通过OPSEC Log Export API(OPSEC LEA)和其他VMware和Citrix供应商特定API的Checkpoint防火墙 管理数据和日志事件
消息队列 JMS、RabbitMQ和AquaLogic 调试复杂应用中的问题,并作为记录应用架构基础
操作系统度量、状态和诊断命令 通过命令行实用程序(例如Unix和Linux上的ps与iostat以及Windows上的性能监视器)显示的CPU、内存利用率和状态信息 故障排除、分析趋势以发现潜在问题并调查安全事件
数据包/流量数据 tcpdump和tcpflow可生成pcap或流量数据以及其他有用的数据包级和会话级信息 性能降级、超时、瓶颈或可疑活动可表明网络被入侵或者受到远程攻击
SCADA数据 监视控制与数据采集(SCADA) 识别SCADA基础结构中的趋势、模式和异常情况,并用于实现客户价值
传感器数据 传感器设备可以根据监测环境条件生成数据,例如气温、声音、压力、功率以及水位 水位监测、机器健康状态监测和智能家居监测
Syslog 路由器、交换机和网络设备上的Syslog 故障排除、分析、安全审计
Web访问日志 Web访问日志会报告Web服务器处理的每个请求 Web市场营销分析报表
Web代理日志 Web代理记录用户通过代理发出的每个Web请求 监测并调查服务条款以及数据泄露事件
Windows事件 Windows应用、安全和系统事件日志 使用业务关键应用、安全信息和使用模式检测问题
线上数据 DNS查找和记录,协议级信息,包括标头、内容以及流记录 主动监测应用性能和可用性、最终客户体验、事件调查、网络、威胁检测、监控和合规性

数据分析挖掘

支持丰富的机器学习算法,支持基于Spark、Storm等分布式计算框架,支持离线数据挖掘,实时数据分析,支持基于大数据的用户行为分析、多数据源关联分析。

智能关联引擎

全文检索结合关联引擎,实时展示关联多个复杂事件的结果,快速汇总和关联各种分散来源的日志,从而做到相关日志的智能关联。实时监控、收集各种设备产生的日志信息,并对这些日志标准化、过滤、 归并、实时关联分析,从而实现关键问题的实时告警、智能预警。

可视化分析

提供丰富的图表类型以及酷炫的前端界面,支持可视化仪表盘自由组合。

网络应用分析

网络应用分析从应用的角度,查看整网应用的具体信息,如TOP应用流量趋势、TOP延迟等信息。可以基于具体的应用实现应用的智能应用流量识别、整体概况预览、应用的基因分析等内容。同时可以从流量大小、流量变化趋势、访问用户数、访问量大小、访问量变化趋势、用户体验、工作日繁忙、流量突发分析等维度刻画应用特征,发现应用异常并告警。

流量预测

流量预测基于历史流量数据建立分析模型,对链路上未来一段时间的流量进行预测。一方面可以帮助用户分析和了解链路使用情况,对链路带宽做出合理的规划;另一方面结合流量预警机制,可以对偏离较大的流量行为自动告警,快速发现网络中不合理的流量,并能发现异常流量来源。

服务保障

帮助大型企业、政府部门等对跨广域网的应用进行服务质量上的保障。越来越多的应用业务通过广域网分布在不同的地区和部门,而广域网的带宽有限,网络流量分析系统可以根据大量的历史数据计算出细粒度的应用流量基线以及相应的预测,结合应用驱动的广域网方案(ADWAN),能够实现应用服务质量的精确化保障。另外网络流量分析系统还可以通过机器学习等手段,识别出异常流量或者关键应用,能更方便地帮助ADWAN实现应用保障、流量调度等功能。

流量合规分析

帮助运营商实现对出租的IDC带宽的白盒化监控。即对于下属二级运营商或互联网公司租用的IDC带宽做业务流量模型分析及合法性判断,做到三防:防私接、防倒卖、防盗用。同时针对不同的IDC业务应用数据进行收集和分析,分析IDC服务质量和流量变化趋势,从而为IDC业务精准营销提供决策支持。

日志数据分析

对来自于网络、安全、操作系统、数据库、存储等设施的运行信息与事件进行分析。不区分厂商、设备、系统类型,实现全网日志综合分析与实时监控,动态展示最新发生的运行事件。采用数据挖掘技术,发现隐藏的风险,优化系统运行。根据分析出来的风险和问题,自动给出故障解决建议。

集群组网

  • 节点规划
  • 采用通用的X86架构服务器
  • 部署分布式架构的软件(基于大数据分布式计算系统)
  • 生产环境推荐3台及以上服务器

运行环境

ITOA节点所需硬件配置

属性 最低配置 推荐配置
CPU 2路×6核,2.0 GHz 2路×8核,2.0 GHz及以上
内存 64 GB 128 GB及以上
系统盘 10krpm 300G 磁盘,2块做RAID1 10krpm 600G 磁盘及以上,2块RAID1
数据盘 500G 磁盘,不做RAID或单个盘做RAID0 2T 磁盘及以上,不做RAID或单个盘做RAID0
网卡 千兆网卡 万兆网卡
操作系统 CentOS 7.3(64位) CentOS 7.3(64位)

DataEngine集群节点所需硬件配置

属性 最低配置 推荐配置
CPU 2路×6核,2.0 GHz 2路×8核,2.0 GHz及以上
内存 128 GB 256 GB及以上
系统盘 10krpm 300G 磁盘,2块做RAID1 10krpm 600G 磁盘及以上,2块RAID1
数据盘 2T 磁盘,不做RAID或单个盘做RAID0 24T 磁盘及以上,不做RAID或单个盘做RAID0
网卡 千兆网卡 万兆网卡
操作系统 CentOS 7.3(64位) CentOS 7.3(64位)

相关资料