冯海涛，李 琳，黄炎一，余小婷

（1.武汉理工大学 计算机科学与技术学院，湖北 武汉430070；2.空军预警学院黄陂士官学校，湖北 武汉430021；3.华中科技大学 管理学院，湖北 武汉430074）

微博内容自动抽取方法研究

冯海涛1,2，李 琳1，黄炎一3，余小婷1

（1.武汉理工大学 计算机科学与技术学院，湖北 武汉430070；2.空军预警学院黄陂士官学校，湖北 武汉430021；3.华中科技大学 管理学院，湖北 武汉430074）

在采用分类机器学习算法的基础上，提出有效的特征集，实现不同微博平台上内容的自动抽取。根据对微博页面的预处理粒度不同，讨论了token和line两种粒度。在特征选取方面沿用了传统的Text-to-Tag Ratio，并结合微博内容文本的相关特性，提出了Text-to-Text Relation和Post-Social特征。实验结果表明，支持向量机与Text-to-Tag Ratio、Text-to-Text Relation和Post-Social 3个特征相结合的抽取结果最佳。

微博内容抽取；机器学习；特征选择

微博是互联网时代的主要信息传播途径，对其进行文本内容分析和检索成为研究热点[1-3]。微博内容抽取主要是从一个HTML页面中提取微博的主要文本内容的过程。传统的方法通过人工分装器(handcrafted wrapper)从HTML页面中提取内容的方法十分脆弱，一旦网页的格式发生变化就无法工作[4]。Finn等[5]提出了Body Text Extraction(BTE)算法，通过识别文本比标签出现更频繁的区域来抽取一个单独连续的块。为解决BTE只能识别单一连续文本块的问题，Gottron[6]应用了Document Slope Curves(DSC)算法。BTE和DSC的要旨在某种程度上与基于line的CETR方法[7]相似，二者都考虑了标签和文本的相关性。Pasternack等[8]介绍了Maximum Subsequence Segmentation(MSS)，结合了token级别的朴素贝叶斯分类器和最大得分序列(maximum scoring sequence)来预测文档的主要内容区域。……