数据开发任务调度难、后期运维复杂、效率低？美林数据调度编排来帮你！
2023-03-28 14:45:00
次
某零售集团的数据智能团队，随着集团业务的快速发展，信息系统中的数据体量日益增加，来自业务部门的数据类需求不断涌现，深层次数据查询、数据分析、数据建模需求日益明显。
在项目建设过程中，客户基于Tempo数据工厂做了大量的集成开发任务，基于Tempo机器学习平台做了大量的经营决策模型，如何实现此类任务的智能化的调度，保障数据准确、及时地更新，成了核心需要解决的问题。
一、业务痛点
传统的数据开发任务调度执行方式，主要分为3种：人工调度，基于sql、java、python等编程语言开发的定时调度脚本、ETL工具调度。
这3种调度方式主要存在的问题如下：
01、人工调度：需要开发人员对业务流程、开发流程高度熟悉，运维的难度高、成本大、准确率低。
02、脚本调度：通过代码进行编排，难度较大，缺乏任务监控、出错重试、补录等机制。
03、ETL调度：各任务节点通过并行、串行的方式进行编排，一方面无法充分使用系统资源，另一方面无法支持断点续跑。
传统的方法无法高效解决任务调度的问题，该如何破局呢？来看看美林数据的解决思路。
二、解决思路
在实际生产中，一个好用的调度系统需要兼顾准确性、及时性和安全性。
准确性：要在正确的时间点启动正确的作业，确保作业按照正确的依赖关系及时准确地执行；
及时性：要实现合理调度系统资源，确保任务能够及时执行完成，保障业务正常开展；
安全性：当遭遇网络或业务系统故障时，要具备完善的监控日志查看、数据补录、数据重跑等机制，保障数据安全。
基于以上思路，美林数据专家团队结合该集团实际业务情况，为其定制了一套数据加工链路的标准流程，将每个阶段的数据进行高效抽取，并为后续的可视化分析、数据建模提供赋能，从而满足数据智能团队统一数据管理、快速支撑业务的需求。
△某集团的加工链路标准流程图
三、Tempo SA调度编排智能解决方案
Tempo SA调度编排智能解决方案是一款统一管理系统调度任务的自动化方案，主要包含可视化的调度中心、任务管理、周期实例的重跑、补数据等实例运维模块。能够实现调度复杂编排和监控，通过可视化配置、高容错、可修补等功能重点解决数据加工处理、数仓建设等业务场景中调度编排问题。
01、统一的任务管理能力
在Tempo调度编排调度中心，可以按照项目、业务流、文件夹等方式开展调度任务，通过树形结构对Tempo 数据工厂的数据开发任务、Tempo人工智能平台的建模任务进行管理。以某集团的数据仓库项目建设为例，我们按照销售业务、仓储业务、物流业务对任务主题进行划分，再按照数仓分层情况，就能实现对任务的分类管理。
02、自动化调度能力
在Tempo调度编排调度中心的流程配置模块，可根据业务需求按周期定时定点开启任务调度，同时可以设置任务生效的时间范围，通过这种配置方式实现程序的自动化调度，还能通过配置流程出错重试次数，提升调度程序的容错性。
此外，Tempo调度编排支持配置各任务间的依赖关系，保障任务按照业务流程执行，保障我们的数据质量，无依赖关系的任务间相互独立，充分调度系统资源，提升整体调度的执行效率。
03、运维监控、数据补录能力
Tempo调度编排能够通过可视化界面实时监控任务运行情况，支持查看执行记录的统计和任务运行日志等操作。
当运维人员发现任务执行失败后，可以用过平台进行数据补数据，补数据操作可以从执行失败的流程节点开始，并执行有依赖关系的全部下游任务，实现任务的断点续跑功能，降低了数据补录的操作难度，缩短了整体数据补录时间。
04、多场景混合编排能力
在Tempo产品体系下，可通过Tempo数据工厂实现数据开发、指标开发、通过Tempo人工智能平台实现数据建模等流程混合编排调度。
在Tempo SA调度编排智能解决方案的助力下，该集团高效地解决了数据加工处理、数仓建设等业务场景中调度编排问题，提升了企业数据质量和业务需求开发效率，为企业经营决策分析赋能。
小T总结
Tempo调度编排简易操作的可视化作界面，极大降低使用门槛；
实时监控任务运行，操作日志可追溯，大幅提升了安全性；
自动化调度、任务依赖关系配置、补数据等功能，有效降低了运维的难度及成本。
Tempo商业智能平台
Tempo人工智能平台
Tempo数据工厂平台
Tempo指标平台
Tempo数据治理平台
Tempo主数据管理平台
首页
陕公网安备 61019002000171号
