赵旭东，亚森·艾则孜

（新疆警察学院 信息安全工程系，新疆 乌鲁木齐　830011）

基于互信息和余弦相似度的维吾尔文不良文档信息过滤方案

赵旭东，亚森·艾则孜

（新疆警察学院 信息安全工程系，新疆 乌鲁木齐830011）

针对网页中的维吾尔文不良文档信息的过滤问题，提出一种基于互信息和余弦相似度的不良文档信息过滤方案。首先，对输入文档进行预处理，过滤掉无用单词。然后，利用文档频率（DF）和互信息（MI）相结合，从文档中提取出高区分度的特征向量。最后，利用TF-IDF方法对特征进行加权，并计算加权特征向量与分类模板中的各类加权特征向量之间的余弦相似度，来分类文档并过滤掉不良文档信息。实验结果表明，该方案能够有效过滤不良维吾尔文文档，正确过滤率达到了83.5％。

维吾尔文；不良文档过滤；互信息；余弦相似度；TF-IDF

互联网的高速发展促使着人类社会的进步，其蕴涵的共享资源不仅提高了人们的工作学习效率，还丰富着人们的业余生活。但由于其开放性的特点，各种良莠不齐的垃圾信息也随之泛滥，特别是反动、色情、暴力或带有明显情绪煽动言论的不良信息的入侵，不仅威胁着网络信息的安全，更极大地危害着社会的稳定和人们的身心健康［1］。因此，开发网页文档信息过滤技术尤为重要。

随着国家对新疆地区的大力投入，使其信息化建设得到快速发展，维吾尔文等少数民族语种的大量文字信息开始以数字化形式呈现。对维吾尔文书写的大量网页文档数据进行信息过滤，对新疆地区的稳定具有重要的意义［2］。……