质量数据:400-686-4199信息标准化:400-643-4668易标准、云LIMS:400-629-4066

数据“知识库”|数据管理的内容、现状和问题

2019-07-12

按照国际数据管理协会(DAMA)的定义,数据管理(DM)是规划、控制和提供数据及信息资产的一组业务职能,包括开发、执行和监督有关数据的计划、政策、方案、项目、流程、方法和程序,从而控制、保护、交付和提高数据和信息资产的价值。

如同其他资产一样,数据资产也具有生命周期,企业管理数据资产,就是管理数据的生命周期。有效的数据管理开始于数据的获取之前,企业先期制定数据规划、定义数据规范以期获得实现数据采集、交付、存储和控制所需的技术能力。

数据管理的目标是“控制、保护、交付和提高数据和信息资产的价值”,因此,数据质量和数据安全是贯穿数据生命周期的管理重点。数据质量决定了数据满足数据消费者期望的程度,直接影响着数据资产的价值;而隐私和安全则是合法使用数据的前提,与数据的产生、获取、更新和删除的全过程密切相关。

数据管理可按照所针对的数据域划分为主数据管理、业务数据管理、分析数据管理。因为三种数据资产的特征不同、用途不同,管理的目标和方法也存在一定的差异。

主数据管理

创建和维护企业中具有高业务价值、可在各个业务部门和职能领域之间被重复使用的数据,为业务开展和数据分析提供基础。重点关注数据的一致性完整性、相关性和精确性。

业务数据管理

管理企业业务活动中数据的产生和维护过程,为跨系统的业务流转和协同提供基础。重点关注多个业务系统之间的数据整合、清洗、标准化,以及数据的有效分发和同步。

分析数据管理

组织和管理数据,为企业运营的分析和决策提供支持。将不同来源、不同形态的数据资源,转换成为一组不同结构的专题数据,以便汇总、描述、预测和分析。在这里,相同的信息可能会以多种不同的数据形态存储和呈现,重点关注数据的一致性、完整性、可用性。

上述三种数据管理都涉及对数据生命周期的过程管理,都涉及数据质量、数据安全和隐私。其中,主数据管理是数据资产管理的基础,业务数据管理更强调数据的流通价值,分析数据管理更关注数据提供的洞察能力。

数据管理的现状和问题

过去的10年间,国内大部分领先企业都陆续建设了ERP系统、资产管理系统、人力资源系统、供应链管理系统、物流系统,电子商务系统,集成门户,协同办公、决策支持系统等各类信息化系统,这些系统通常独立建设,独立运行,分别服务于企业内不同的职能部门。由于业务和IT技术发展的渐进性,企业的各个业务系统都经历了从无到有,不断扩展和升级的过程,从而形成了一个又一个的业务竖井,业务系统的构建更多是以项目为中心,从下而上地构建,往往缺乏整个企业范围内的统一规划,从而使得一些需要在各个业务中共享的核心数据被分散到了各个业务系统进行分别管理。

在这个以应用为中心的信息化进程中,由于企业各部门在开发或引进各种应用系统时都是单一地追求各自的功能实现,没有从全局视角进行业务数据流分析和相互协调,没有遵循统一的数据标准和规范,各个部门都按“自产自用”的模式管理数据资源,导致数据不一致和数据冗余间题与日俱增。

例如,在某个系统的供应商目录中,一个供应商可能称为“XX(中国)秒速赛车”,而另一个系统的客户日录中可能称其为“XX公司”,而这样的错误往往来源于负责此公司的销售和采购业务人员录入习惯的不同;不同的开发人员,甚至同一位开发人员在不同的任务中,对同一个数据对象的命名也可能发生不一致,如“供应商代码”“供应商号”“供应商编号”等。同时,企业内部的业务区隔或行政分化也在不断地制造着企业数据交互的断层。

由此可见,现阶段以职能和应用为中心的企业信息化建设在带来数据高速增长的同时,引发诸多数据管理的问题。这些海量的、分散在不同系统中的数据资产呈现出数据量大、涉及领域广、结构复杂的特点,导致了数据资源利用的复杂性和管理的高难度。具体而言,大型企业在数据管理方面通常存在如下问题。

缺乏数据管理的体系规划

企业缺乏全面的、涵盖所有应用系统的数据管理体系规划,对数据管理策略、组织模型和流程模型没有清晰的目标和定义,没有可执行的数据治理实施阶段和步骤,同时也缺乏对整个数据生命周期中数据的处理、校验、生效、变更、分布,以及相关的策略、模型、流程和方案。

缺乏有效的数据管理组织

企业缺乏高层认可的数据管理组织,无法统一建立基础数据管理标准,相应的数据监督管理措施无法得到落实,也没有建立数据管理及使用考核体制,无法保障已经建成的数据管理标准和内控体系有效地执行。

各信息系统的建设和管理职能分散到各职能部门或各单位,数据业务质量审核主要由业务职能部门分头负责,缺乏完善的基础数据质量管控流程和管理规范,缺乏数据管理组织和岗位职责的界定体系,各职能部门或各单位中的数据管理的职责分散,权责不明确。同时,跨业务部门的基础数据质量沟通机制不够完善,缺乏清晰的跨业务的基础数据管控规范及标准,影响基础数据质量,统计分析口径不统一,导致数据管理的相关标准、规范无法有效地执行和落实。

缺乏IT工具的支持

企业数据管理的业务开展缺乏IT系统的支持,手工处理占主要部分,基础数据完全采用人工方式收集、整理,存在工作效率低下、错误率高等问题。数据标准的执行主要靠人为因素,无法实现全面、严格的数据质量控制和审计。同样的工作要在不同的系统中重复操作,数据管理的工作烦琐,效率低下。

缺乏对数据管理的正确认识

现阶段,多数企业错误地认为数据管理是单纯的技术工作,应由信息系统的开发人员完成,基本不需要业务人员。实际上,信息化进程中的数据管理工作是在两类人员的密切合作下推进的。缺少业务人员的参与,或业务人员与开发人员沟通不畅、矛盾分歧都会造成信息系统开发效率低、质量差等问题,最终影响数据资产质量。

由于在数据管理上存在上述认识、规划、组织和管理工具上的缺陷,导致各类业务系统往往各自为政,难以互联互通,数据不一致和数据冗余问题与日俱增。海量的数据资产往往无法得到更高层次的利用,不能及时发现潜在的问题。最终,企业缺乏完善、统一的基础数据来源和技术标准,缺乏统一、可信的基础数据源,给企业的发展带来了极大的障碍。企业在信息化的进程中,正在面临“数据资产管理危机”。具体表现如下。

信息孤岛

企业中绝大部分系统处于分散、独立的状态,各系统独立运行,系统中的数据标准自成体系,系统与系统之间无法进行业务交互和数据交换,导致数据只在系统内部有效,不能与其他系统的相关数据进行关联分析。

数据标准不统一

数据的标准包括了企业核心业务定义,数据模型、数据属性、参考数据、指标等,也包括了行业内部的数据标准。企业在各业务系统建设时如果缺少统一的数据标准,会导致开发和运维人员难以正确理解数据模型相关含义,致使企业不同业务系统集成和数据共享困难。

数据质量差 

在业务系统运行过程中,由于各类原因,会导致数据冗余、数据不一致、数据缺失等问题,例如计量单位不一致、编码不一致、同一实体多条记录等数据质量问题。这些问题数据如果不及时发现并处理,就会影响企业的运营,阻碍业务发展,甚至造成严重的后果,对于后续的数据分析,也会因为这些问题数据的存在而被下扰,分析结果将受其影响,误导管理层决策。

当前,企业信息化建设正在处于应用为中心向数据为中心转化的关键时期,企业面临数据整合的挑战不断增长且日益严峻,低质量的数据资产已经成为在信息化与业务深度融合中的关键制约因素,数据资产一旦处于混乱无序状况,其重要性就会降低,价值会大打折扣,甚至会影响企业的利益和决策。

Experian发布的“2018年全球数据管理研究”指出,仅有24%的企业使用专门的平台来进行企业级的数据质量管理;29%的企业存在数据质量管理,但是仅限于部门级别;23%的企业有计划在未来开展数据质量管理;但依然有24%的企业没有任何的数据质量或者数据治理计划,企业普遍认为当前数据中有三分之一是不准确的,其中有69%的企业认为不准确的数据将会影响他们给用户提供的服务,在已经部署数据质量管理项目的企业中,有42.2%的企业使用手动编码的方式进行数据质量管理,只有28.7%的企业使用了厂商提供的专业数据质量工具进行管理。

总体来说,国内企业目前数据管理都处于初级阶段,很多企业的数据资产都或多或少地面临着如下问题。

数据不完整

缺少关键基础数据,部分辅助数据缺失或不全面,历史数据丢失严重。

数据分散,不一致

企业内的数据入口众多,同一类数据采用的标准、规则不一致。

 数据质量低

大量数据基本上“堆积”在一起,缺少必要的数据管理,集成数据的可用性差,质量比较低。

数据共享集成成本高

数据标准不统一、分散、可用质量差,数据核对、清理、映射的工作量巨大,导致共享集成和数据分析的成本非常高。

数据经济效益不显著

数据决策分析的结果可靠性差,投入与产出不匹配。

因此,数据资产的质量已经提升到企业的核心战略层面,成为一项复杂而艰巨的系统工程,数据的应用与数据质量是相辅相成、相互推动的关系,对数据资产进行治理,是提升企业数据管理与应用水平的关键举措。企业应该着眼于长期、持续有效的数据治理,建立行之有效的数据治理体系,挖掘数据的潜力,从而发挥数据资产在企业中的核心价值。

秒速赛车官网 秒速赛车官网 大资本彩票网 秒速赛车官网 安徽11选5 迪士尼彩乐园开户 秒速赛车官网 秒速赛车官网 秒速赛车官网 香港开奖结果2019开奖记录