曹惠茹 成海秀 连松耀 王毅

摘  要：针对网络论坛文本数据的特点与网络论坛的结构，提出了一种网络论坛文本数据获取与存储方法。先采用Browser/Server架构云构建网络论坛数据系统框架，再依托网络爬虫技术实现对网络论坛数据的收集，然后基于Bi-LSTM网络搭建主题相关性文本数据过滤系统，最后采用MySQL和MongoDB数据库，构建数据存储方案。系统设计表明所提出的方法可行，为网络论坛舆情的研究与引导提供了依据。

关键词：网络论坛;文本数据;数据获取;数据存储

中图分类号：TP391.1      文献标识码：A 文章编号：2096-4706（2021）01-0007-06

Research on Text Data Acquisition and Storage Method for Network Forum

CAO Huiru1，CHENG Haixiu2，LIAN Songyao3，WANG Yi1

（1.Guangzhou Institute of Technology，Guangzhou  510075，China;

2.School of Computer Science and Engineering，South China University of Technology，Guangzhou  510640，China;

3.College of Nanfang，Sun Yat-Sen University，Guangzhou  510970，China）

Abstract：According to the characteristics of the text data of network forum and the structure of network forum，a method of acquiring and storing the text data of network forum is proposed. Firstly，the data system framework of web forum is constructed by using Browser/Server architecture cloud，then the data collection of web forum is realized by relying on web crawler technology，and then the topic related text data filtering system is built based on Bi-LSTM network. Finally，the data storage scheme is constructed by using MySQL and MongoDB database. The system design shows that the proposed method is feasible，which provides a basis for the research and guidance of public opinion in network forum.

Keywords：web forum;text data;data access;data storage

0  引  言

網络社区舆情是一种对各类信息进行汇集、分类、整合、筛选等技术处理，并在此基础上对形成的网络热点和网民意见等进行实时统计和引导干预的过程[1-3]。目前，国内外网络社区以网络论坛为主，其已经成为网络信息传播的重要渠道[4，5]。

网络社区信息主要通过论坛、贴吧、微博等载体的多种类型数据进行传播，其中以文本数据为主[6，7]。对网络社区舆情进行研究与引导，获取网络论坛文本数据成为了关键前提条件[8，9]。因此，对网络论坛相关数据获取与存储进行研究是当前网络舆情分析的重要环节，通过对相关数据的分析与研究，可以正确引导网络舆情发展，形成良好的网络环境。

网络论坛文本数据的获取可以通过各种不同方法得到，如：从网络社区服务器抓取与舆情主题相关网页内容。针对不同的获取方法，国内外许多学者进行了研究，赵璐[10]根据环保舆情信息源的特点，设计了一个分布式爬虫系统;针对不同的舆情源设计了不同的数据获取策略，实现数据信息更快、更准确的获取。……