Research on improving imbalanced numerical data using NGN algorithm

Xing Changzheng，Zheng Xin，LiangJunfeng （CollegeofElectronicamp; Information Engineering，Liaoning Technical University，HuludaoLioning1251o5，China）

Abstract：When minorityclassamplesare scarce，traditional oversampling methods struggleto increasethesamplecount. This paper introduced a NGN algorithm that synthesized new data byadding generator-generated dataas noise to theoriginal minorityclassamplesuntilbalance wasachieved.Thegenerator employedafour-layerfullyconnectednetworkandintegrated low-structureandhigh-structurefeaturegenerationtechniquestoenhancethequalityanddiversityofthegenerateddata.For verylimited minorityclassamples，NGNgeneratednewsamples，mergedthemwiththeoriginal minorityclassdata，and performedclustering to achieve balance withinclusters while minimizing the impactof noise.The study evaluated NGNon6unbalanceddatasets，applied4oversamplingalgorithms tobalancethedatasets，andclasifiedthebalanceddatasetsusing4classificationmethods.TheexperimentalresultsdemonstratethatNGNefectivelyincreasesthenumberof minorityclasssamples， enhances the model’sability to learn minority classfeatures，and significantly improves classification performance.

Key words：numerical generator network（NGN）；generator；noise；extremely scarce minority class；balance

0 引言

数据不平衡的问题源自于样本分布的不均衡。通常情况下，多数类样本容易获取，而少数类样本却难以获得，导致多数类样本数量远远大于少数类样本数量。实际上，如预测糖尿病[1]、金融欺诈[2]、气压系统[3]等均存在数据不平衡的问题。因此，如何处理数据缺失和类不平衡成为了当前数据处理所面临的重要问题。目前的优化方法主要在数据处理和算法修改两个层面上进行。

在算法层面中常采用的算法有聚类融合、集成学习、优化算法等。其中，具有代表性的聚类融合主要是利用多个聚类结果的共识来形成一个更加稳定和准确的聚类结果，并且聚类融合在处理复杂结构数据或多个聚类算法结果不一致时更有效。但该方法存在数据依赖、算法选择局限和结果不稳定性等缺点;数据处理通常采用过采样和欠采样[4]。其中，欠采样是一种通过减少多数类样本的数量来实现数据平衡的方法。然而，这种策略导致部分数据信息的丢失，影响模型的泛化能力。过采样是指通过增加少数类样本的复制或生成新的少数类样本，以达到数据平衡。其中最经典的算法是Chawla等人[5提出的SMOTE（syntheticminorityoversamplingtechnique）的基本思想是对少数类样本中的每个样本，找出其最近邻的样本，然后在这些最近邻样本之间随机选取一个点，生成新的合成样本。Han 等人[提出了Borderline-SMOTE，通过选择边界样本进行合成样本的生成，提高生成的合成样本质量。He等人[提出了一种处理不平衡数据集的采样方法ADASYN（adaptivesyn-theticsampling），该算法注重为难分类的少数类样本生成更多的合成样本，从而适应局部数据分布。……