我们都听说过数据质量差导致的许多恐怖事情。具有数千万条记录数据的公司,以“(000)000-0000”为客户联系电话,“99/99/99”为购买日期,atv,12个不同的性别价值,没有状态信息的送货地址等。 企业和组织的脏数据造成的成本损失是真实存在的。例如,根据美国邮政局估计,由于数据不佳,他们在2013年花了15亿美元处理无法投递的邮件。数据质量差的原因可能很多,atv,但可以大致分为数据输入,数据处理,数据集成,数据转换和过时数据(随着时间的推移)。 那么你可以做些什么来确保您的数据始终保持高质量呢? 越来越意识到数据质量的关键性,以及数据的不准确如何导致灾难性的后果。 挑战在于如何确保企业为收集/提供相关数据,以及有意义和可持续的方式管理数据,以确保关键主数据的优质黄金记录,并分析高质量数据以实现业务目标。 基于数据质量专家和从业者的最佳实践,我们使用的是6步数据质量框架。 1 步骤 1- 定义 定义数据质量改进的业务目标,数据所有者/利益相关者,受影响的业务流程和数据规则。 示例: 目标:确保所有客户记录是独一无二的,准确的信息(例如:地址,电话号码等),跨多个系统的一致数据等。 数据所有者:销售副总裁; 利益相关者:财务,营销和生产; 受影响的业务流程:订单输入,发票等; 数据规则:规则1,客户名称和地址应该是唯一的; 规则2,所有地址应根据批准的地址参考数据库进行验证。 2 步骤 2 - 评估 根据定义步骤中规定的规则评估现有数据。 根据多个维度评估数据,如关键属性的准确性,所有必需属性的完整性,多个数据集中的属性的一致性,数据的及时性等。根据数据的数量和种类以及每个企业的数据质量项目的范围, 我们可以使用一些分析工具进行定性和/或定量评估。 这是评估现有政策(数据访问,数据安全性,遵守具体行业标准/指南等)的阶段。 示例: 评估唯一的客户记录的百分比(名称和地址); 关键属性等级的非空值的百分比。 3 步骤 3 - 分析 在多个方面分析评估的结果。 一个分析领域是DQ业务目标与当前数据之间的差距。 另一个分析领域是数据质量差的根本原因(如果是这样)。 示例: 如果客户地址超出业务定义的目标不准确,那根本原因是什么? 订单输入应用程序数据是否验证问题? 或参考地址数据不准确? 如果客户名称在订单输入系统和金融系统之间不一致,是什么原因导致这种不一致? 4 步骤 4 - 改进 根据先前的分析设计和制定改进计划。 这些改进应该了解时间范围,资源和费用。 示例: 修改地址的所有应用程序必须对所选地址参考数据库进行验证; 客户名称只能通过订单输入应用程序进行修改; 系统的预期更改将需要6个月才能实施。 5 步骤 5 - 实施 在改进阶段确定最终的解决方案。 了解技术以及业务流程相关变更。 实施全面的“变革管理”计划,确保所有利益相关者得到适当的培训。 6 步骤 6 - 控制 定期验证数据是否符合业务目标和定义步骤中指定的数据规则。 定期向所有利益相关者传达数据质量指标和当前状态,以确保数据质量原则在整个组织中保持不间断。数据质量不是一次性项目,而是一个持续的过程,需要整个组织以数据驱动和数据为中心。 数据质量管理需要从高层重视,以保证企业获得丰厚的收益。 写在最后 数据质量的管理并不意味着管理好了就可以解决一切的业务问题,这是一个对质量概念的理解问题,所以需要步骤1的定义,也就是首先要定义数据质量目标,针对目标进行评估、分析、改进和找到解决方案。 正如文中所描述的,质量的管控是一个持续迭代的不间断过程,需要我们持续的关注和重视。 (责任编辑:本港台直播) |