应用层从功能的角度,主要分admin、designer和monitor。从应用渠道的角度,又分桌面客户端渠道与后台字符界面客户端渠道。同时,为了进一步方便用户,系统服务端还提供了丰富的控制操作行命令。
控制层是多级金字塔架构,顶层为服务控制节点,完成各种调度服务控制以及为客户端提供各种操作应用服务。而代理层完成与目标服务器(ETL等)的控制交互。另,代理层通过主从代理级联方式,可实现对集群部署的服务器进行调度控制,实现负载均衡等。
目标层,是整个产品所控制的标的,比如常见的ETL服务器,作业资源服务等。
关系策略:
可以实现作业、作业流之间的并行、互斥以及任意依赖控制。特别是依赖控制,系统通过串行、单点依赖、事件依赖以及自定义条件等机制,可以实现作业流内、不同作业流、不同ETL作业服务器以及不同业务日期、不同批次间任意作业的依赖控制。
排程计划策略:
实现任意自然日历、逻辑日期排程计划;一个流程内可实现自然日历与多个逻辑日期的混合排程计划。
容错策略:
可以实现作业错误后自动重跑,并可指定重跑次数,还可以实现错误重试次数满后,自动决定作业是否通过或失败。
强大的自定义策略:
一个作业是否运行、忽略以及等待,用户可以通过自定义条件来确定。一方面,可以采用系统提供的内置函数用于条件判断;还可以通过自定义脚本程序来实现条件判断。
3、灵活的参数传递
用户可以通过定义全局变量、流程私有变量来实现定义各种信息的宏替换、作业参数传递、流程间变量信息传递等。另外,TASKCTL还可实现一个作业的返回值当作另外一个作业的入口参数来传递。
关于 TASKCTL
大数据时代数据整合、ETL等领域重要基础工具
批量调度自动化技术是大数据时代实现数据整合的关键技术。数据作为社会和企业的重要资产,其有效管理和应用对社会发展至关重要。批量调度自动化技术确保数据在数据仓库、数据集市和数据池中的有序处理,包括数据的导入、存储、清洗、预处理和细处理等。
批量调度自动化技术在数据整合及ETL流程中发挥着核心作用,其具备跨行业通用性。通过将其独立化、系统化、专业化、工具化和产品化,可以显著提高ETL过程的效率,并优化数据整合的整体流程。
TASKCTL作为一款专业的批量调度自动化技术产品,以其创新的概念、完整的体系、全面的功能和简洁的操作界面,在业界独树一帜。不仅具备强大的调度核心和灵活的扩展性,还拥有完整的应用体系。在流程设计和流程图展示方面,TASKCTL相较于同类产品实现更为显著的进步,提供更直观的图形界面、更简便的操作和更高的灵活性。
三、高可靠性(HA)
为了保证系统的高可用性、高扩展性,整个产品核心设计采用层级架构。通过"Server(调度控制中心)" + "Agent(代理)"协调工作,完成各种复杂的调度控制,同时,通过Server主备,Server和Agent分布式集群部署,实现高可用性与负载均衡的企业级系统特性。
五、灵活用户权限管理
为了实现用户对各个作业流程资源的操作控制,TASKCTL采用操作系统的用户管理机制,TASKCTL将设计流程对象化、文件化,每个流程可以对拥有者、同组、其它用户分别授予读、写、操作权限,这种机制可以让用户对不同项目的的不同流程灵活授予读写操作权限。
七、全方位实时监控作业运行
为了用户实时了解作业的运行状况,TASKCTL整体采用实时刷新、图形、多角度多口径统计以及短信等方式对整个平台作业进行全方位监控,以便用户及时掌握哪些作业正在运行、错误原因、失败、警告等信息。
八、灵活的人工干预维护
人工干预是自动调度系统必不可少的功能。用户可以通过人工操作实现流程的暂停、重置、断点设置与作业的重跑、强制成功以及忽略通过;用户可以通过流程自由模式启动来实现任意作业以及任意作业分支的人工运行等。
九、专业的图形用户界面
TASKCTL的图形用户界面能够完成上述的所有功能。它将众多功能集成于一个直观的图形界面中,使得用户不用熟悉各种命令、作业定义语言等,就可迅速掌握与使用,进一步方便了用户。
二、丰富的使用场景
提供Datastage、Informatic、kettle、一体机、大数据、存储过程、java以及各种脚本作业程序的支持与扩展,同时保证各种作业类型的应用统一,TASKCTL对作业的控制采用插件驱动机制,从而实现各种技术平台、各种作业类型调度控制。
四、完善的应用体系
系统应用功能按应用类型通过Admin、Designer、Monitor三个软件来组织与应用,同时又按不同应用渠道分C/S模式桌面客户端、C/S模式字符界面客户端以及B/S模式Web应用端。它们分别构成完整的应用系统,用户可以根据自己的操作习惯与具体应用环境,选择合适的客户端渠道进行应用操作。
六、流程作业的多级组织架构
为了保证系统的高可用性、高扩展性,整个产品核心设计采用层级架构。通过"Server(调度控制中心)" + "Agent(代理)"协调工作,完成各种复杂的调度控制,同时,通过Server主备,Server和Agent分布式集群部署,实现高可用性与负载均衡的企业级系统特性。
十、强大的核心调度功能
1、灵活的流程驱动
一个作业流程的开始,可以通过文件到达触发、自定义周期定时触发(n分钟、n小时、n天等)以及自定义事件触发等。
2、完整的调度控制策略
关系策略:
可以实现作业、作业流之间的并行、互斥以及任意依赖控制。特别是依赖控制,系统通过串行、单点依赖、事件依赖以及自定义条件等机制,可以实现作业流内、不同作业流、不同ETL作业服务器以及不同业务日期、不同批次间任意作业的依赖控制。
排程计划策略:
实现任意自然日历、逻辑日期排程计划;一个流程内可实现自然日历与多个逻辑日期的混合排程计划。
容错策略:
可以实现作业错误后自动重跑,并可指定重跑次数,还可以实现错误重试次数满后,自动决定作业是否通过或失败。
强大的自定义策略:
一个作业是否运行、忽略以及等待,用户可以通过自定义条件来确定。一方面,可以采用系统提供的内置函数用于条件判断;还可以通过自定义脚本程序来实现条件判断。
3、灵活的参数传递
用户可以通过定义全局变量、流程私有变量来实现定义各种信息的宏替换、作业参数传递、流程间变量信息传递等。另外,TASKCTL还可实现一个作业的返回值当作另外一个作业的入口参数来传递。
成都塔斯克信息技术有限公司,是一家专注于‘企业IT自动化’的产品型公司。以高度成熟的产品TASKCTL为基础,为企业提供ETL批量调度自动化、运维自动化、以及各种以IT自动化技术为核心的解决方案。
地址:中国(四川)自由贸易试验区成都市高新区天府大道北段1700号环球中心N3区1023