顾　颀，朱　灿，曹　健（.上海交通大学电子信息与电气工程学院，上海200240；2.南通大学计算机科学与技术学院，江苏南通22609）

互联网商品匹配算法

顾颀1，2，朱灿1，曹健1
（1.上海交通大学电子信息与电气工程学院，上海200240；2.南通大学计算机科学与技术学院，江苏南通226019）

实体解析是指识别同一实体的不同描述形式的过程，旨在保障数据质量，是数据清理、数据集成及数据挖掘中的关键技术.随着电子商务的不断发展和成熟，商品的多样性和消费者灵活的购买方式，使得对网络商品的精确识别和匹配成为大数据时代亟待解决的问题.与传统实体解析主要针对结构化数据不同，网络数据具有非结构化、异构和海量的特性，为此设计了综合相似度算法（synthesized similarity method，SSM）来计算网络商品数据间的相似度，同时引入凝聚的层次聚类框架，以匹配来自不同数据源的异构商品.此外，为了解决大数据环境下对执行效率的要求，从字符串相似度缓存、约束知识库和分块策略三个方面对SSM进行优化，基于真实数据集的实验结果验证了SSM的执行效率和有效性.

实体解析；大数据；非结构化数据；商品匹配

电子商务的持续发展给人们带来了庞大的数据总量以及复杂的数据形式，数据的关联形态正在发生变化，这些都给数据处理带来了极大的挑战.以互联网环境下丰富的网络商品为例，随着商品多样性的提升，同一网络商品在不同网络平台往往以各种形式存在着，相似商品信息散……