基于机器学习的中医学派文本分类研究
2018-06-06
中华医学图书情报杂志 2018年12期
如何从巨大的数字化文本信息中提取有效的知识是大数据时代学术界研究的热点内容[1-2]。随着中医数字化进程的不断推进,众多中医古籍资料已完成数字化工作,如何运用大数据方法分析这些文本数据是一个值得探索的问题。
文本分类是自然语言处理领域中的一个重要研究方向,是运用计算机技术对文本数据按照一定的分类体系或标准进行自动分类标记的方法[3-4]。早期的文本分类技术主要适用于英文文本,具有使用价值的中文文本分类方法直到20世纪90年代末期才被提出,随即在中文垃圾邮件分类、情感识别、意图判别等领域成功应用,但针对中医文本数据的分类研究较少[5-8]。本文通过自动提取不同中医学派文献资料的特征,采用LibSVM和LibLinear进行分类预测计算,探索一种基于纯文本的中医学派区分方法。
1 研究方法和平台介绍
基于机器学习的文本分类通常包括特征提取、特征降维、分类器训练3个步骤。在中文文本分类研究中,分类器的选择较为重要,常用的分类器模型有贝叶斯[9]、逻辑回归[10]、支持向量机[11]、决策树[12]、神经网络[13]等。近年来,支持向量机在文本分类中的应用取得了较为突出的进展。虽然其在大数据集训练时会消耗大量时间和计算资源,但具有良好的泛化能力,在分类正确率和鲁棒性上占有优势。贝叶斯、逻辑回归、决策树等方法具有模型简单、训练及分类效率高等优点,但分类能力和鲁棒性较弱,如果数据集的内容和分布不符合模型特点,模型的分类性能会显著下降[14]。……
登录APP查看全文
