莎仁　梁琼芳　李长明　张家鑫

摘 要：爆炸式增长的信息量带来严重的数据质量问题。实体识别是数据清洗的一项关键技术，用以识别存在不同形式的同一对象，或区分同一形式的不同对象。介绍了实体识别相关技术，阐述了实体识别技术过程与方法，并对面向大数据的实体识别技术进行了展望。

关键词：大数据;数据质量;实体识别

DOI：10. 11907/rjdk. 191621

中图分类号：TP301   文献标识码：A                 文章编号：1672-7800（2020）003-0125-03

Research on Related Technologies for Big Data Entity Identification

SHA Ren1， LIANG Qiong-fang1， LI Chang-ming2， ZHANG Jia-xin1

（1. College of Information Science and Technology，Northeast Normal University;

2. Changchun Guanghua University， Changchun 130000， China）

Abstract： Data quality problems are particularly serious due to the explosive growth of information. Entity recognition is a key technology for data cleaning to identify different objects in different forms or to distinguish different objects in the same form. This paper outlines the problem of entity recognition， summarizes the technology of entity recognition and looks forward to the entity recognition technology for big data.

Key Words：big data; data quality; entity recognition

0 引言

隨着信息时代的来临，数据量爆发式增长，这些规模庞大的数据具有巨大的挖掘价值，但也存在大量数据质量问题，如重复数据、缺失数据、陈旧数据等，劣质数据导致可用性大打折扣，数据清洗引起广泛关注。实体识别（Entity Identification）是数据清洗的一项关键技术，其主要目的就是准确识别出同一实体，将数据对象与现实世界的真实实体一一对应，即对数据库中元组对是否指代同一实体进行判别，以此达到去除冗余、消解不一致的数据清洗效果。本文主要根据大数据实体识别过程总结相关技术工作并展开讨论。

1 实体识别

数据质量可从6个维度定义：①精确性（Accuracy），指数据描述现实事物的接近程度;②完整性（Completeness），指数据集的完整程度;③时效性（Timeliness），描述数据的新旧程度;④一致性（Consistency），描述数据内部的矛盾程度;⑤相关性（Relevancy），描述数据与应用需求的契合程度;⑥实体同一性（Entity identity），指数据描述同一个现实世界事物数据的冗余程度[1]。

实体同一性（Entity identity）是数据质量的重要标准之一，描述同一个现实世界中事物的数据冗余程度。……