基于Skip-PTM的网页主题分类与主题变迁的研究
2020-07-13耿宜鹏鞠时光蔡文鹏
小型微型计算机系统 2020年7期
耿宜鹏,鞠时光,蔡文鹏,章 恒
(江苏大学 计算机科学与通信工程学院,江苏 镇江 212013)
1 相关工作
文本信息处理作为自然语言处理的一个研究领域,其主要研究内容包含:文本分类、文本聚类和文本建模.网页主题分类技术是文本信息处理的一个具体应用,广泛应用于搜索引擎、主动服务推送、信息过滤等领域,已成为管理和组织Web网页信息的关键技术之一.随着各站点数据井喷式的更新与增加,网页主题类型也会不断出现变化,同一站点的网页主题在不同的时间段上会出现变迁.例如以腾讯体育官方新闻数据为例,2019年10月“CBA赛事”相关的网页主题主要体现在“CBA季前赛”上,2019年11月相关的网页主题已从“季前赛”变迁到“CBA常规赛”.这种主题变迁的研究将为服务推送、数据统计等相关领域提供有效的帮助.
国内外已有研究人员从不同的角度对网页主题分类和网页主题变迁进行了研究,使用的方法主要分为:基于字符串的方法[1-4]和基于语料库的方法[5-8].
基于字符串的方法提出了一系列将字符与机器学习相结合的处理技术,主要包括网页表示、降维、Web网页主题分类以及网页主题分类的评估,这些技术被用于实现自动网页分类系统、自动目录维护系统等.
基于语料库的方法提出了一系列将概率主题模型和机器学习、深度学习相结合的网页分类策略,这些策略可以提取潜在页面信息特征,提高了网页主题分类的准确性和可信度.
文献[9]在主题……
登录APP查看全文
