夏婷婷 林康 张潇予 刘海忠

摘 要：【目的】为了解决欧氏距离计算相似性带来的高维度问题，提出了基于类的余弦距离聚类缺失值填补方法。【方法】首先将不完整数据集分为两个不同的组（G1和GIM）；其次通过聚类中心对GIM组中的缺失数据进行预填补；再次利用余弦距离计算相关性；最后选择与G1组中距离最小的数据来填补缺失值。【结果】实验结果表明，该方法在类别和混合数据集上均优于其他插补方法。【结论】该方法显著提高了准确率、召回率、F1-score及插补效果。

关键词：不完整数据；缺失值插补；聚类；余弦距离

中图分类号：TP181；TP311.13  文献标志码：A    文章编号：1003-5168（2024）08-0028-08

DOI：10.19968/j.cnki.hnkj.1003-5168.2024.08.006

A Study of Missing Value Imputation Methods for Class-based Cosine Distance Clustering

XIA Tingting1 LIN Kang2 ZHANG Xiaoyu3 LIU Haizhong1

（1.Lanzhou Jiaotong University， Lanzhou 730070， China; 2.Beijing Normal University， Zhuhai 519087， China;3.School of Social and Behavioral Sciences， City University of Hong Kong， Lanzhou 730070， China）

Abstract： [Purposes] In order to solve the high dimension problem caused by the similarity of Euclidean distance calculation， a class-based cosine distance clustering missing value imputation approach is proposed. [Methods] Firstly， the incomplete data set is divided into two different groups （G1 and GIM）; secondly， the missing data in the GIM group is pre-filled by the clustering center; the cosine distance is used again to calculate the correlation ; finally， the data with the smallest distance from the G1 group is selected to fill the missing values. [Findings] The experimental results show that the proposed method outperforms other imputation methods for both categorical and mixed datasets. [Conclusions] The CBC-IM-COS method significantly improves accuracy， recall and F1-score and imputationperformance.

Keywords： incomplete data; missing value imputation; clustering; cosine distance

0 引言

缺失值的挑战是数据科学中最普遍的问题之一［1］。在医疗数据中尤其如此，由于某些指标难以衡量、数据采集不及时、数据存储不当、医疗信息难以跨平台共享等因素，导致医疗数据中往往存在许多缺失值［2-3］，直接影响疾病诊断、治疗选择、出院评估、预后评估等临床决策。如果不及时处理大量缺失的数据，往往会导致严重的偏差，从而得出错误的结论。因此，有必要对缺失数据进行有效处理，以提高医疗数据的质量和临床决策的准确性。处理缺失数据方法大致可分为2类：删除法和插补法。根据Strike等［4］和Raymond等［5］的研究，当数据集包含非常少量的缺失数据时，如缺失率小于10%或15%，采用删除法删除缺失数据，不会对最终挖掘或分析的结果产生显著影响。但是，当缺失率较大时，该方法则会导致有价值的信息丢失。与删除策略不同，缺失值插入（MVI）是处理不完整数据集问题最常用的解决方法，插补法是从可利用的数据中估计出的数值去替换缺失的值。……