APP下载

基于机器学习的文本自动归类系统算法研究

2021-07-22邢照野刘晓群

新一代信息技术 2021年12期
关键词:分类文本

邢照野,刘晓群

(河北省建筑工程学院,河北 张家口 065000)

0 引言

文档自动分类是一种采用统计方法或者机器学习方法来确定文本内容类别的过程,本文设计其思想为:根据一些已经有标签并分好类的训练数据,对模型进行训练,对新的数据进行分类得到标签。基于有监督学习的机器学习文本分类器可以根据数据集中的内容,获得文本信息的类别标签。由于人工进行分类文本的效率比较差,因此运用技术解决文本分类问题成为了目前研究的热点。

1 系统分析与设计

1.1 需求分析

从技术的层面上讲,本文使用监督学习算法来对历史数据训练,并生成模型,用于对未知文本的类别进行预测。不过目前由单一的算法所搭建的分类器效果较差,因此文本设计实现通过不同的组合方式和优化方式,对某批文本设计出最优的分类器,达到更好的分类效果。文本的分类器选择的是SVM,这是因为SVM是除了深度学习以外的最好的分类算法,它有如下特征:它既可应用于线性分类,也可以用于非线性分类。

1.2 系统流程

1.2.1 系统流程

文本分类流程如图1所示。

图1 文本分类流程图Fig. 1 flow chart of text classification

1.2.2 业务流程

本系统的目的是实现一个系统可以自动对文本信息进行分词处理,词频统计和分类处理。在数据上传部分,可以人为将所需要分类的文本信息进行粘贴上传,同时也可以通过给予一个 url地址,使用爬虫功能进行文本内容的获取。在文本分类处理部分,可以分别展示文本分词效果,词频统计效果和文本的分类效果,可以将程序对文本信息做处理的过程和结果进行可视化操作。……

登录APP查看全文

猜你喜欢

分类文本
分类算一算
垃圾分类的困惑你有吗
初中群文阅读的文本选择及组织
在808DA上文本显示的改善
基于doc2vec和TF-IDF的相似文本识别
教你一招:数的分类
文本之中·文本之外·文本之上——童话故事《坐井观天》的教学隐喻
論《柳毅傳》對前代文本的繼承與轉化
给塑料分分类吧
如何快速走进文本