Company news
当前页面:首页 > 新闻中心 > 公司新闻

鑫海智桥“ZQ-ETL4.0数据采集软件”重磅发布!

作者:王立鑫 刘磊   2019年10月15日 10:03   浏览:3047

一、产品介绍

        随着企业应用复杂性的上升和微服务架构的流行,数据正变得越来越以应用为中心。

        服务之间仅在必要时以接口或者消息队列方式进行数据交互,从而避免了构建单一数据库集群来支撑不断增长的业务需要。以应用为中心的数据持久化架构,在带来可伸缩性好处的同时,也给数据的融合计算带来了障碍。


        由于数据散落在不同的数据库、消息队列、文件系统中,计算平台如果直接访问这些数据,会遇到可访问性和数据传输延迟等问题。在一些场景下,计算平台直接访问应用系统数据库会对系统吞吐造成显著影响,通常也是不被允许的。


        因此,在进行跨应用的数据融合计算时,首先需要将数据从孤立的数据源中采集出来,汇集到可被计算平台高效访问的目的地,此过程被称为ETL,即数据的抽取(Extract)、转换(Transform)和加载(Load)。

        ETL程序是一套数据提取处理开发框架,我们的ETL除了集成Oracle,SqlServer 等多种数据库的连接,还包含与读写OPC设备和读写RedisServer缓存库的功能,通过配置就可以完成与各个对象的连接。ETL程序的开发是以任务为单元,各个任务之间既可以完全独立运行也可以关联运行,可以满足各种个性化需求。


数据库信息编辑:可以配置多个数据库连接,通过“数据库编码”即可方便调用。

数据采集任务编辑:可以配置各种性质的采集任务,灵活的关联脚本,可以多任务公用同一脚本,免去了大量重复工作,使采集任务的开发变得省时省力。

采集端任务管理:采集端任务统一管理,直观的查看任务运行状态,便捷的启停任务。

让客户专注于挖掘数据价值

二、技术特色

        分布式部署,支持多种数据库,任务独立运行并且集中管理,使用原生开发工具二次开发,集成OPCUA连接工业设备。

        集成了强大的Exceptionless 分布式日志记录系统运用得当可以实时有效的检测采集端状况,排查异常。

三、产品优势

ZQ-ETL4.0 帮助企业快速搭建异构数据源之间的数据管道,让复杂的数据项目不再成为瓶颈。

广适性,可以读写多种数据库以及遵守OPC协议的工业设备,适用于周期性任务和事件触发式的任务。

灵活性,可以使用原生的开发工具,开发灵活调试灵活部署灵活。

便捷性,通过配置可以替代大量的代码开发工作。


四、产品价值

1、实时的或者周期性数据整合

        企业经营发展中数据涵盖着一切,所以数据的整合尤为重要。阿里提出了“数据中台”的概念。即数据被统一采集,规范数据语义和业务口径形成企业基础数据模型,提供统一的分析查询和新业务的数据对接能力。数据中台并不需要颠覆式的新技术,而是一种更科学的数据整合概念,现阶段的一个企业的各种管理系统无法变成统一的一套系统,但是企业往往需要各个系统之间数据的整合。而ZQ-ETL就是这样一个平台,提供了各种便捷的工具对接各种数据库和设备,让开发者可以专注于处理业务逻辑,而且除了任务配置之外,逻辑开发采用C#通用的开发环境Visaul Studio或者VS Code,与其他程序开发没有差别,只是添加了一些工具类库,学习成本低。 企业可以利用ZQ-ETL结合自己的实际需求编写实时事件触发式或者周期作业式的程序,最后将处理结果以统一的接口对外公布,以供其他系统调用。

2、自动化生产线工艺流程实现,数据记录

        ZQ-ETL对接工业设备的情况也极其常用,只要设备遵守OPC协议可以连接KEPServerZQ-ETL就可以通过KEPServer与设备完成交互。ZQ-ETL对接设备采用最新的OPC UA技术对设备读写都很快,所以除了可以将设备工作信息记录,还可以对设备发送的即时信息进行判断进而对设备发送下一步操作的指令,运用得当就可以实现最大程度的自动化生产。

Visaul Studio开发环境

        总体来讲,ZQ-ETL就是这样一个集成了很多功能的平台,让开发人员把工作重心放在业务上,根据企业自己实际情况,既可以做企业多系统之间的数据桥梁,也可以做生产线数据处理枢纽。