摘  要：为了在社交媒体数据中找出相应内容，可以通过大数据挖掘的算法对社交媒体数据进行处理。文章提出了一种处理Twitter数据挖掘的大数据算法，为保证可扩展性，基于MapReduce框架提出并行数据挖掘的大数据算法。通过实验证明了该算法是高效的，在计算上，尽管数据集大小增加，执行速度仍然可以显著增加，并且加速比随着数据集大小的增加和数据节点数量的增加而增大。

关键词：社会媒体;数据挖掘;大数据算法;推特数据;MapReduce

中图分类号：TP311 文献标识码：A 文章编号：2096-4706（2021）18-0031-04

Abstract： In order to find out the corresponding content in the social media data， the social media data can be processed through the algorithm of big data mining. This paper proposes a big data algorithm for Twitter data mining. In order to ensure the scalability， we propose a parallel big data algorithm based on MapReduce framework. Experimental results show that the algorithm is efficient. Although the size of the data set increases， the execution speed can still significantly increase， and the speedup ratio increases with the increase of the size of the data set and the number of data nodes.

Keywords： social media; data mining; big data algorithm; twitter data; MapReduce

0  引  言

最近的一些研究表明，在社交媒体上表达的舆论可能与各种社会问题相关。为了找出在社交媒体数据中实际发现的内容，通过数据挖掘可以处理大量数据，称为大数据算法[1，2]。本文中提出了一个处理Twitter数据挖掘的大数据算法。此外，为了保证可扩展性，采用Map Reduce框架来并行化所提出的算法。在过去十年中，随着Web 2.0技术和通信工程的快速发展，社交媒体的普及和扩展已经相当惊人[3]。社交媒体产生的大量数据有可能为市场和消费者行为提供一些新见解。这同样适用于政治、环境、娱乐业、股票市场等其他社会学问题。数据挖掘的关键功能是从数据中提取知识，而社交媒体就像一个广阔的未曾触动过的而充满价值的数据土地，在这块土地上使用数据挖掘技术有一个明显的动机，例如，作为社交媒体的典型例子，Twitter是一个微博应用程序，允许感兴趣的用户对其他用户的想法或生活中的某些事件实时跟踪和评论。……