先进数通IMOIA.SMS完善数据调度机制

      大数据作为云计算、物联网之后IT行业又一大颠覆性的技术革命，已经渗透到当今每一个行业和业务职能领域。越来越多的政府、企业等机构开始意识到数据正在成为组织最重要的资产，数据分析能力正在成为组织的核心竞争力。如何通过数据整合分析为企业提供全方位的调度、监控、管理等功能，从而最大程度提供更加专业化和个性化的服务，已成为企业关注的焦点。作为国内领先的企业数据整合解决方案提供商，北京先进数通信息技术股份公司（简称“先进数通”）曾获得IBM颁发的IBM信息管理（IM）卓越解决方案全球大奖，并获得中国建设银行数据大集中工程主要软件服务提供商及网络系统集成服务商等资质。公司参与了国有商业银行等金融机构和大型企事业单位的信息化工程项目，拥有众多的成功案例及自有知识产权的产品群，并在金融渠道应用、信息资产管理和分析、个人金融服务、网络集成服务等领域保持着业界领先地位。

      先进数通拥有完全具备自主知识产权的数据管理产品家族IMOIA，并发布了新一代监控调度平台IMOIA.SMS，全面支持IBM Datastage、Informatica等ETL工具，为数据处理业务提供调度、管理、监控等全方位的专业支持，确保数据处理业务安全、稳定、高效地运行，帮助用户稳步进入大数据时代。

 

构建数据交换平台生态环

 

 

      长安汽车在数据交换平台建设的过程中技术难题不断出现：数据交换平台涉及集团各业务平台，系统接口繁杂，接口参数难于管理，需要及时传输数据，数据交换作业要循环执行，整个平台的任务并发量难以控制，处理服务器存在配置差异，任务的均衡分配受到挑战。为此，长安汽车与先进数通公司合作，引入调度产品MOIA作为数据交换平台的调度核心，采用iMOIA.SMS调度监控管理系统方案。该系统实现了资料数据库、数据交换平台、业务系统数据库三网融合，最大可能的满足数据交换平台的高速通讯需要。

      该系统通过Agent实现对DataStage作业以及命令行等的执行调度，借助iMOIA.SMS的调度系统，形成了事件服务、调度决策服务、资源分配服务等机制，实现对数据交换任务的准实时循环调度，实现数据交换任务异常状态实时短信预警，通过业务流程展现数据交换流程，清晰把控业务流程。

通过iMOIA.SMS产品应用实施，系统目前已管理作业达到1200余个，实现了即时调度数据处理任务实现业务系统与财务系统间的订单信息传递，保证业务的及时性和连续性，并清晰展现出数据传输作业间的关系，有效梳理出数据传输平台的数据链路。

 

高效利用集中统一调度平台

 

 

      问题同样出现在使用DataStage作为其ETL工具的友邦保险，友邦保险之前的数据交换主要集中在业务系统到数据中心的数据加工处理，以及业务系统与BI系统间的数据传输和交换。但随着ETL作业所涉及的业务种类的增加，ETL作业量开始迅速增长，系统间的数据交换关系也越来越复杂。首先，ETL作业较多，统一管理困难，其次，ETL服务器需要集中为统一的资源池，共同负载ETL作业，ETL作业需要动态均衡地分配到各ETL服务器上，服务器的资源管理存在一定难度，此外还需要专门针对DataStage作业进行调度，应用接口复杂。

      为应对复杂的ETL作业调度场景，iMOIA.SMS调度采用事件驱动机制，该机制是在调度过程中进行决策的一种策略，即跟随当前时间点上出现的事件，调动可用资源，执行相关任务。在项目中iMOIA.SMS系统建立了ETL作业的调度控制核心、数据中心平台的管理中心、资源控制中心、安全保障中心。

      随着iMOIA.SMS引入实现其多台ETL服务器资源的整合，为其3000多的ETL作业统一分配ETL服务器的计算资源，实现资源的动态负载均衡和高可用。

 

数据调度促进大数据应用

      先进数通公司是国内最重要的IT集成与实施厂商之一，多年来致力于为中国企业的信息化建设提供专业服务。多年来一直关注ODS/DW/BI领域，目前先进数通iMOIA.SMS调度监控管理系统在国内银行、证券、保险、制造等行业均有大量的用户，受到了行业用户的认可。

      在零售行业大数据领域，先进数通参与李宁体育ODS ETL数据调度统一管理的建设工作，通过将先进数通iMOIA.SMS调度监控管理系统部署在李宁体育ODS ETL等系统之上，实现了对零售系统、库存系统的每日数据抽取控制，以及对ETL服务器进行资源整合，实现资源的充分应用。

      在证券行业大数据领域，先进数通参与华泰证券收购联合证券后，数据中心系统已实现各业务系统间的信息整合建设工作。华泰证券使用MOIA调度平台以实现其多台ETL服务器资源的整合，为其2000多的ETL作业统一分配ETL服务器的计算资源，实现资源的动态负载均衡和高可用。

      在银行业大数据领域，先进数通参与平安银行企业级的ETL平台建设工作，平安银行的ETL平台，需要一个功能全面、高扩展性、高稳定性的企业级调度平台，从2008年至今平安银行的MOIA系统中已经部署了55000个作业，成为整个数据线建设最为重要的运行平台。通过MOIA产品的实施，平安银行取得如下效果；稳定、扩展性高的复杂集群管理;快捷、简便的调度开发；统一的作业调度监控。

      随着中国各行业信息化水平不断攀升，越来越多的用户开始面临着大量的、复杂的数据调度难题。而先进数通的行业大数据调度则抓住了这个切口，为以上这些用户的大数据价值挖掘提供了产品和技术的支持。

标签： 安全 大数据 大数据时代 大数据应用 服务器 服务商 金融 企业 数据分析 数据库 通信 网络 问题 信息化 信息技术 行业 行业大数据 用户 云计算

版权申明：本站文章部分自网络，如有侵权，请联系：west999com@outlook.com
特别注意：本站所有转载文章言论不代表本站观点！
本站所提供的图片等素材，版权归原作者所有，如需使用，请与原作者联系。