数据，“脏了”？数据质量评估的6个维度以及50个检查项

很多刚入门的数据分析员，还有做业务、做项目的人，拿到数据后第一反应就是赶紧开始分析。但忙活一阵后，才发现浪费了好多时间和精力，结果还可能是错的。为啥会这样呢？根源通常是没重视数据质量的评估。

要是数据质量不行，分析结果就没法给业务帮上忙，还可能让决策出错，影响业务方向和成果。所以啊，做数据分析之前，一定得把数据质量评估做好。

一、如何进行数据质量分析？

1、评估数据质量的6个维度

国际数据管理协会（DAMA）提出了一套数据质量衡量标准，分成六大维度，能从不同的角度全面评估数据的质量。

• 准确性：数据是否正确无误，没有错误。数据准确性也叫可靠性，是用于分析和识别哪些是不准确的或无效的数据，不可靠的数据可能会导致严重的问题，会造成有缺陷的方法和错误的决策。
• 合规性：数据是否符合既定的标准和规则。数据合规性也叫有效性，即对于数据的值、格式要求符合数据定义或业务定义的规范要求。无效的数据会导致错误的决策。
• 完整性：数据是否完整，没有缺失。数据缺失或不完整可能会导致分析结果的偏差，影响决策的质量。
• 及时性：数据是否能够及时更新和传递。数据的及时性与企业的数据处理速度及效率有直接的关系，是影响业务处理和管理效率的关键指标。
• 一致性：数据在不同地方是否保持一致。如果数据不一致，在数据分析时就会产生混淆。
• 唯一性：数据中是否有重复的记录。重复冗余的数据情况，会导致业务无法协调，流程无法追溯。

2、数据质量分析：注意4种"脏数据"

数据质量分析主要就是检查数据中是否存在"脏数据"，即不符合要求且不能直接进行分析的数据。"脏数据"主要有四种，包括缺省值、异常值、不一致的值、重复数据以及含有特殊符号的数据。

3、数据清洗：如何处理"脏数据"？

数据清洗是一个反复的过程，不可能一下子就完成了，只有不断的发现问题，解决问题。数据清洗是一个反复的过程，不可能在几天内完成，只有不断的发现问题，解决问题。

数据清洗，主要分为五个类别：

1. 格式内容清洗
   • 解决格式和内容不一致的问题，如：
     • 时间、日期格式不一致
     • 数值格式不一致
     • 企业单位格式不一致
     • 内部字段不符号业务需求
     • 内容字段与库内存储格式不符
     • 数据类型不规范
2. 异常值清洗
   • 异常值检测方法：
     • 基于统计分析（如3σ准则、箱型图分析）
     • 基于机器学习（如基于中位数、基于方差、基于邻近值、基于聚类）
     • 基于领域的异常值处理
   • 异常值处理方法：
     • 分箱、回归、删除记录
     • 数据转换
     • 异常数据分布映射
3. 逻辑错误清洗
   • 数据逻辑异常清洗
   • 不合理值清洗
   • 矛盾内容修正
4. 缺失值清洗
   • 造成缺失值的原因
   • 缺失数据处理方法：
     • 不处理、人工填充、特殊值填充、统计值填充（如均值、中位数）、模型预测填充、插值填充、删除缺失值等
5. 非需求数据清洗
   • 不符合业务需求的数据

二、如何进行数据质量管理？

1、数据质量管理的三个阶段

即在数据生命周期的任何一个阶段，做好数据规划和约束，以此来防止"脏数据"的产生。主要分为事前预防、事中监控、事后改善三个阶段。

2、数据质量管理的50个检查项

为了有效进行数据质量管理，企业可以参考以下50个检查项，这些检查项涵盖了数据质量的各个维度，从准确性、合规性、完整性、及时性、一致性到唯一性，确保数据的可靠。

数据分析的目的是为了通过数据发现潜在的商业价值，而数据质量则是这一过程的基石。如果数据质量不高，再好的分析方法也无法得出有价值的结论。因此，不管是数据分析师还是项目经理、产品经理或者业务人员，我们必须重视数据质量的评估，发现问题并解决问题，才能让数据分析真正发挥作用，为业务决策提供有力支持。

好了，今天的分享就到这里。如果你想要了解和学习更多数据管理/治理的知识、方法和技能，建议参加CDGA数据治理工程师认证培训 或者 CDMP数据管理专家认证培训。