企业数据治理过程中遇到的困难和挑战,应该怎么解决?
2023-03-13 16:13:00
次
企业数据治理普遍存在的困难和挑战主要有以下4个方面:
1、找不到:业务人员/管理者不知道企业有哪些数据,各类数据都存储在哪个业务系统,没有一个统一的地方去搜索,也不知道该问谁要。
2、看不懂:业务人员/管理者拿到了数据却看不懂,数据的描述方式具有很强的专业性和技术性,很难知道业务含义,也不清楚数据与业务之间的关系到底是什么,对于数据资产完全不清晰。
3、用不了:企业数据分散、多源、异构,各业务系统数据质量差、数据标准不统一、数据整合困难,导致数据不能直接使用。
4、管不住:数据治理是一个组织的全局性项目,需要跨组织的沟通协调,而任何一个单一部门都很难直接协同其他平级部门,需要有企业级统筹的组织和统一的管理方式来运营。
美林数据作为国内知名的数据治理和数据分析服务提供商,结合自身多年数据治理经验和对数据治理深刻理解下,有别于其他数据治理厂商的独特理念:
1、业务驱动、价值为先:美林主张面向业务做数据治理,解决具体业务场景数据问题,并不是为了数据治理而治理,也不是一次要治理所有数据。
2、标准为基、融合推进:标准作为基础和最终的目标,数据治理慢慢的道路中,通过融合等手段解决历史问题,推进数据治理工作前进,最终实现标准统一。
3、AI赋能、增强治理:美林具备自研智能算法,主张借助智能手段增强数据治理的效率和效果,摆脱人工治理。
美林数据提供咨询+产品+实施的成熟一体化服务,保障数据治理工作落地。美林数据治理解决方案整体框架自顶向下包括数据战略、数据管理能力成熟度动态评估、数据规划、湖仓建设、数据治理、数据门户和智能应用,其中数据运营、安全保障作为底层的重要基座,保障数据治理活动正常开展。围绕数据治理解决方案整体框架分别介绍每个阶段的工作内容:
1、数据战略:数据战略是确定数据治理的方针与策略,解决数据治理工作怎么管的问题。数据战略阶段主要有3项工作,第一:制定企业数据战略目标,进行企业现状盘点、数据管理能力成熟度评估和制定企业数据战略;第二:制定企业数据管理办法,包括制定一套数据管理制度、一套数据管理流程和一套数据管理组织架构;第三:构建企业数据治理体系,包括制定一张企业业务域蓝图、一套企业数据标砖规范和一套企业统一数据模型。
2、湖仓建设:数据仓库解决了结构化数据的问题,数据湖解决了
非结构化数据的问题,美林提出湖仓一体的方案,将结构化数据和非结构化数据结合,支撑数据治理及数据应用。
3、数据治理:数据治理方法很多,常见的比如顶层设计、标准先
行、技术驱动、项目建设等,美林根据多年的探索和实际应用经验,提出了业务价值驱动数据治理的新理念:
(1)业务先行、价值驱动:以切实需要的业务场景和核心利益为出发点,驱动数据治理,倒逼提升数据质量。
(2)标准为基、融合推进:当前企业或多或少都经历的多年的信息化建设,很少有企业能一开始就制定好数据标准,并在所有的系统建设中都严格遵守这个标准。美林数据对此创新性的提出了“融合先行,终向统一”的思路,对存量系统和新系统的数据治理实行分而治之。针对存量系统,为了不影响业务运行、避免系统改造、降低历史数据影响,美林采用统一接入、映射关联的方案,满足跨业务应用的需求,解决一物多码的问题。针对新系统,自动执行标准,依靠自动化方式进行数据核查,为数据标准化工作开展提供抓手,持续支撑数据标准化工作。
(3)AI赋能、增强治理:数据规模的指数级增长给数据治理工作带来巨大压力,传统人工方式做数据的清洗、分辨与调优使治理工作耗时冗长,带来高昂的人力成本,且愈发难以满足智能应用对数据在规模量与质量的高要求,传统的人工数据治理工作已变得捉襟见肘。美林数据依托自身人工智能等新技术,应用于数据治理的模型管理、元数据管理、主数据管理、数据质量管理等模块,还具备算法中心,可以兼容企业已有算法和第三方算法,最终实现数据治理的“自治与自我进化”。
4、数据门户:解决数据怎么用、怎么找数据。对于数据专业人员
通过数据地图,可以通过数据地图来寻找自己需要的数据集,组装自己需要的宽表。对于技术专业人员,可以通过共享服务来寻找应用开发所需要的数据API,支撑业务应用的数据服务需求。对于企业全部人员,可以通过企业知识库统一管理和检索企业文档数据。
5、智能应用:通过前面的数据规划、湖仓建设、数据治理等工作,可靠、可用的数据要素已经被创造出来,数据的消费者和应用的开发者能够更好地使用数据,让数据要素的价值真正体现在业务上。