近年来,随着张家港农商行业务不断深入拓展,为了更好的支撑业务的发展,该行科技部门陆续建设了一批管理类应用系统,包括数据仓库系统、绩效考核系统、统一监管报送平台、资产负债系统,以及正在建设中的管理会计等多个业务系统。为了保障这些系统的运行,都少不了后台批量数据的处理。
由于这些业务平台都是由不同厂家在不同时期分批建设的。因此基本都各自采用了不同的批量调度方案,有的采用ETL工具Datastage自带的调度方案,有的是应用系统自身开发的调度方案,还有的采购了额外的调度工具等等。在之前较长时间的运行使用过程中,问题也逐渐暴露出来:
批量调度系统越来越多,技术体系越来越复杂,导致该行科技部人员在学习和运维上的压力越来越大。
不同厂商所采用的调度产品差异化很大。大多数在稳定性、易用性以及专业性以及调度效率都难以做到面面俱到,有的甚至还有比较严重的缺陷。
不同厂商的调度平台协同性差,造成不同应用平台之间难以做到统一跑批。平台之间的依赖关系只能通过人工额外去处理,无法系统化管理。
后续新建的应用平台也必将部署新的调度系统,也同样面临着功能完整性、稳定性,专业性不够的风险。仍需要再一次付出软硬件成本和人员运维成本。
张家港农商行统一调度平台是一个典型的企业级分布式网络架构,合理组织平台架构能够有效提高统一调度系统的稳定性,扩展性以及调度效率。平台架构示意图如下所示:
经过张家港农商行科技部同事和塔斯克公司技术人员不到两个月时间的合作与努力。该行ODS数据仓库调度环境由原来的JCM调度系统切换并正式运行到TASKCTL4.0上。之后经过一段时期的运行观察。目前,包括ECIF、ICRM、PM、ALM、UPRR、RPM在内的多个管理类应用系统都已稳定运行在TASKCTL调度平台上面。这标志着张家港农商行统一批量调度平台已全面建立。由此带来的成效也逐步呈现。
实现了调度系统资源整合
在实施统一调度平台方案之前,各个应用系统都采用各自的批量调度方案,有的采用ETL工具DATASTAGE的调度方案,有的是应用系统自身的调度方案,还有的采购了单独的调度工具等等。都需要付出额外的软硬件成本和与之对应的管理维护成本。实施之后,所有的应用系统批量作业调度处理都集中到统一的调度服务器上进行处理,提高了资源的使用效率,降低了相应的软硬件成本。
规范了批量调度实现模式
在实施统一调度平台方案之前,由于该行管理应用系统采用了多种批量调度方案,每种方案实现流程作业设计,监控运维的方式不尽相同,技术水平要求也截然不同。通常对应每种方案都需要专人来操作与维护。因此不可避免的带来了更多的人力成本浪费。实施之后,通过TASKCTL统一的调度流程设计方式,统一的运维监控视图以及统一的批量作业运维管理手段,有效地降低了该行相关人员的工作量,提高了其工作效率。另外,鉴于TASKCTL技术平台本身的学习成本较低,对于新建的外包项目的调度需求,也要求一并纳入到TASKCTL统一调度平台来实施,进一步规范了外包公司的技术要求。在实际应用过程中,不仅没有增加外包工程的工作量,相反大大地提升了其工作效率。因此,外包单位也给与TASKCTL一致的好评。
缩短了批量系统的建设周期
在实施统一调度平台方案之前,以之前ODS的调度系统JCM为例。在现有流程下新增一个调度任务是不太方便的,需要先在流程中新增一个作业,并编辑好作业的相关信息,然后再在杂乱的流程图中找到该作业节点,通过鼠标画线条的方式连接好作业的前驱和后继关系才行。这个过程中涉及到多个窗口的切换和查找步骤,很容易产生错误。但是现在我们在TASKCTL中实现上面的功能非常容易,在清晰的流程图中找到作业的前驱或者后继,在对应位置切换到代码模式,直接复制粘贴,并适当修改些文本内容即可。特别是大量的任务编辑中优势更加明显。
全面提升了调度平台监控运维能力
在实施统一调度平台方案之前,由于该行各个应用系统相对独立,很难从全局去监控各个应用系统的运行情况,并且各个应用系统的业务运行情况的体现方式也不太一致,给监控运维人员提出了太多的技术挑战。采用TASKCTL实施之后,实现了实时的、统一的、清晰的流程视图监控、所有应用系统运行情况面板监控以及全局任务异常监控等多种全方位的监控手段。
另外,TASKCTL对异常任务的处理方式也非常方便灵活,之前在JCM中,需要在监控数据列表中找到异常任务并选择处理,现在在TASKCTL中可以使用自动快速定位功能找到流程中的异常任务,无论是任务重跑还是中断,还是重跑流程分支都可以一键完成操作。
建立了完备的备份恢复机制
在实施统一调度平台方案之前,对每个应用系统对应的调度系统建设备份保护机制,需要额外增加一倍的软硬件资源,和采用不同的调度流程同步方案。调度系统集中到TASKCTL上面之后,只需要增加一台备份环境就可以确保整个调度平台的安全运行。
[最后编辑于 2016-06-28 10:20 ]
请登录后评论~