李俊达 吴昊 毛秋宇 张复生

摘 要：数据质量问题会给数据分析和挖掘带来致命的影响，因此需要对存在质量问题的数据进行清洗。数据清洗的方法和策略与具体的数据质量问题有关，本文以工业物料系统中的数据为实验对象，提出了一套简易高效的数据清洗流程，将通用的数据清洗的方法和策略实现具体化并加以改进。实验结果表明，该流程具有良好的应用价值。

关键词：数据质量；数据清洗；工业物料系统

中图分类号：TP311.13 文献标识码：A 文章编号：2096-4706（2018）03-0022-03

The Process of the Data Cleaning Based on Industrial Material System

LI Junda1，WU Hao1，MAO Qiuyu1，ZHANG Fusheng2

（1.School of Computer Science and Technology，Jilin University，Changchun 130012，China；

2.Shanxi Youbai Information Technology Co.，Ltd.，Xian 710065，China）

Abstract：Data quality issues will result in lethal effects of the analysis and excavation of data，so it is needed to clean the data with the problem of data quality. Data cleaning techniques are related to specific data quality issues，this study takes the data of industrial material system as the experimental object，put forward a simple and efficient data cleaning process，externalizes and improves the methods and policies of general data cleaning. The experimental results show that the process has good application value.

Keywords：data quality；data cleaning；industrial material system

0 引 言

在早期建设的企业信息化系统中，企业不同部门一般拥有各自的数据库。由于没有严格的数据模式，即使是描述同一实体的数据对象在相同属性上的值也可能存在不同的表示形式。例如，对“电流互感器”这一实体，在其他数据库中可能表示为“电流互感组件”或者“电流互感器组件”。在统计物料数量时，如果把同一物料的不同描述当作是不同物料，会导致统计数量少于物料的实际数量。为了有效利用企业信息系统来支持决策，需要正确识别出数据库中描述同一实体的元组。另外，早期企业信息化系统中的数据录入多数采取人工的方式，会出现大量的异常数据。这里的异常数据即不一致、无效或数值缺失的数据，例如拼写错误、不合法值、空值、冲突、简写、重复等，也称为“脏数据”。

本文从某一国有企业的工业物料系统数据入手，来进行数据清洗。通过检测数据集合中存在的不符合规范的数据，并进行数据修复，将原数据库的数据提取、转换并存储到新的数据库中，以提高数据质量。……