黄创霞，温石刚，杨 鑫，文凤华，杨晓光

(1.长沙理工大学数学与统计学院，湖南 长沙 410114； 2.中南大学商学院，湖南 长沙 410081； 3.中国科学院数学与系统科学研究院管理、决策与信息系统重点实验室，北京 100190)

1 引言

传统金融理论假定投资者是理性人，能够获取所有市场信息并做出合理反应。然而，现实股票市场中存在过度反应、羊群效应等传统金融理论无法解释的投资者行为异象[1-2]。以Kahneman为代表的行为金融学派将心理学的观点和研究方法引入到经济学中并尝试对这些异象进行合理解释，推动了行为金融的发展。投资者情绪是反映投资者心理预期的重要因素，是行为金融理论研究的重要分支[3-9]。

对投资者情绪进行有效度量是研究投资者情绪的首要步骤。投资者情绪度量可以分为直接和间接两种方式。其中，直接度量方式主要是通过各种问卷调查来构建反映投资者对行业、证券市场预判的情绪指标，常见的指标有个体投资者协会指数(American Association of Individual Investors, AAII)，投资者智数(Investor Intelligence, II)，消费者信心指数(Consumer Confidence Index, CCI)，好淡指数，华鼎多空民意调查以及央视看盘指数等[3-7]。由于抽样范围的局限，直接度量方式可能存在抽样选择的偏差，难以准确刻画市场上投资者情绪[8]。为了客观反映市场上投资者情绪状况，通过选取市场经济指标来构建投资者情绪代理变量被学术界广泛采用。例如：Baker和Wurgler[9]采用主成分分析(PCA)的方法，选用封闭式基金折价率、纽交所股票换手率、IOP数量及首日平均回报率、股权发行份额和股利溢价六个经济指标构建了投资者情绪指数，主成分分析方法的优点是能够过滤掉特质噪声，保留因子的共同部分[10]。Ben-Rephael等[11]采用美国市场共同基金流来描述投资者情绪，并且与Baker和Wurgler的指标作出对比。蒋玉梅和王明照[12]、文凤华等[13]、高大良等[14]结合沪深股市的实际情况和数据可获性，在主成分因子上进行筛选，构建我国股市的投资者情绪指标。间接度量方式对指标的筛选要求比较高。我国股市在很大程度上受到政策调控，一部分适用于研究欧美市场的指标难以直接应用于我国A股市场[7]。

随着互联网与大数据技术的快速发展，海量、实时信息的获取越来越高效，投资者情绪指标不再局限于传统的度量方式，挖掘网络媒体、社交文本中的情绪信息来构建情绪指标成为近年来的新方向。Bollen等[15]利用基于情绪状态量表(Profile of Mood State)的GPOMS情绪分析工具挖掘Twitter上的985万条博客信息，构建了“平静、警惕、确切、充满活力、友善、高兴”六种情绪指标。Mao等[16]借鉴语言学的分析方法，通过收集2010年至2012年期间Twitter和Google中带有“bullish”(牛市的)和“bearish”(熊市的)字样的博客信息，构建了推特看涨情绪指标。当前，我国个体投资者在A股市场占主导地位①，网络财经论坛、新浪微博、百度等是投资者交流市场信息的重要平台，充分挖掘网络信息构建投资者的情绪指标，具有重要意义。汪昌云等[17]采用国内最通用的中文分词软件NLPIR汉语分词系统对主流财经报道进行分析，通过分词匹配的方法构建投资者情绪指标。由于分词匹配方法需要借助基准词库进行文本处理，因此词库质量对情绪关键词词典的识别精度有关键影响。孟雪井等[18]利用时差相关系数法和随机森林算法，从新浪微博话题信息等词库中进行关键词汇筛选，构建了投资者情绪指数。董大勇等[19]采用自回归模型对新浪股票论坛的日发帖量进行拟合，利用模型残差项异常发帖量构建情绪指标。林振兴[20]选取东方财富网“股吧”的帖子讨论，通过人工区分的方法逐条识别帖子内容的情感倾向，构建投资者关注度、投资者乐观/悲观情绪等指标。易洪波等[21]对上证指数股吧的主题帖内容进行分词和词频统计，采用人工区分的方法构建情感词典，并利用自回归模型构建异常投资者情绪指标。

利用社交媒体信息挖掘投资者情绪来探索与资产收益和成交量等市场价格行为之间的相互影响近年来取得了一系列新进展。例如，Bollen等[15]运用格兰杰因果检验的方法研究推特上的公众情绪对道琼斯工业平均指数(Dow Jones Industrial Average, DJIA)的影响，发现“平静”情绪指标会影响股票市场的资产收益。Mao等[16]建立特推和谷歌搜索上的看涨情绪与国际重要股票市场指数的VAR模型，发现当天的推特看涨指标越高，第二天股票上涨的可能性越大。陈晓红等[22]通过线性回归模型实证新浪微博中的投资者情绪与创业板指收盘价及成交量均呈负相关。Tetlock[23]利用VAR模型发现华尔街日报专栏(Wall Street Journal)中过高或过低的悲观媒体情绪都可能导致下一个交易日出现较高的成交量。Joseph等[24]将标准普尔500的上市公司按在线股票搜索强度划分为5类，并统计对应类别的公司日成交量，发现投资者情绪越高的公司往往有更大的异常成交量。易洪波等[21]通过线性回归模型分析网络论坛投资者情绪对股市成交量的时滞影响，表明异常投资者多方情绪对同期异常成交量有正向影响，而异常投资者空方情绪对下一期的异常成交量产生负向影响。

综上所述，不同的投资者情绪度量方法会导致投资者情绪与资产价格、成交量的研究结果出现差异。采用语言学的分析方法，借助情感词典度量网络媒体、社交文本中的投资者情绪已逐渐成为新研究方向。然而，已有的情感词典构建方法依然存在一定的不足。人工区分的方法在很大程度上依赖于研究人员的专业性[20-21]。分词匹配借助的基准词库无法识别最新的网络流行词以及金融领域术语[17]。此外，情感词典的关键词汇没有涵盖表情符号[15-21]，也会给情绪度量带来偏差。因此，本文考虑网络财经论坛的用户语言习惯、采用高效的算法进行情感词分类、构建有效的情感词典来度量个体投资者情绪并进一步研究情绪与市场收益和成交量的互动关系就显得尤为必要。本文有如下几个方面的创新与贡献：(1)结合目前文献的研究[25-27]，引入标准化和“拉普拉斯修正”的方法，在此基础上设置情感分类阈值，提出了情感词典识别精度更高的SO-LNPMI算法；(2)突破传统词库约束，通过算法分类自动引入一系列股票市场术语和网络流行语，构建了具有广适应性的网络论坛情感词典；(3)突破以往研究只限于自然语言分析的局限性，首次比较表情符号在投资者处于不同情绪状态下的表达情况，为投资者情绪研究、特别在网络舆论领域提供新的思路。(4)细致研究投资者情绪与收益率和成交量的互动关系，为现代行为金融理论提供新的实证依据。

2 研究方法

首先统计文本样本的高频词，把明确表达积极情绪和消极情绪的词汇纳入到基准词典，使用SO-LNPMI算法确定待定词汇的情感分类，建立情感词典。然后，利用情感词典匹配和基于投票法的情感分类方式，构建个体投资者情绪指标，接着采用随机抽样的办法检验词典的精度。最后，运用格兰杰因果检验的方法研究投资者情绪与收益率和成交量的互动关系。

2.1 SO-LNPMI算法

Turney和Littman[25]提出情感倾向点互信息(Semantic Orientation Pointwise Mutual Information，SO-PMI)算法，该算法的基本思想是：通过事先定义具有明显情感倾向的两个基准词集合，分别计算候选词与基准词集合在样本中的关联强度，最终根据情感倾向SO值实现词性划分。SO-PMI不需要事前获取训练集合的标记信息，属于无监督学习方法，在情感分析与观点挖掘等领域有着广泛应用。(1)-(3)式为算法的基本模型公式：

PMI(word1,word2)

(1)

(2)

SOi

(3)

其中p(word1)、p(word2)分别表示词汇word1、词汇word2在文本中出现的概率，p(word1&word2)表示词汇word1与词汇word2共同出现的概率。Pwords和Nwords分别为事先定义的褒义词集合和贬义词集合。

显然，PMI(word1,word2)∈(-∞,min{-log2(word1),-log2(word2)})，候选词的情感推断很大程度上受到个别基准词的词频影响。为了降低基准词集合样本不均匀所带来的误差，PMI计算公式需要进行标准化处理[26]：

NPMI(word1,word2)

(4)

其中NPMI(word1,word2)∈(-1,1)。

在算法的计算过程中，由于样本规模的局限性，可能出现p(word1&word2)=0的情况，此时算法终止。为了避免这种情况，在估计概率值时需要进行“平滑”处理，常用的方法为“拉普拉斯修正”[27]：

Lp(word1&word2)

(5)

其中count(word1&word2)表示训练文本中词汇word1与词汇word2同时出现的样本数，|T|表示训练文本T的总样本数，N表示可能的类别数。在二分类任务中，N取2表示这两个词汇是否同时出现的两个样本。

在情感推断过程中，由于候选词与褒义、贬义词难以满足同等关联强度的条件，通过设置正数阈值δ能够降低潜在的中性候选词对极性情感的敏感性，从而提高算法的准确率。

有鉴于此，本文引入标准化和“拉普拉斯修正”的方法，在此基础上设置情感分类阈值，最终给出第三节中所应用的SO-LNPMI情感分类算法的计算公式(6)-(8)：

LNPMI(word1,word2)

(6)

SO-LNPMI(word)

(7)

SOi

(8)

2.2 基于投票法的情感分类

将所有高频词的情感词性确定后，构建论坛舆论情感指标词典，并将抓取的贴子逐条进行关键情感词汇匹配，当匹配到情感词后，需要判别其前N个词汇中是否存在否定词，若存在否定词，则考察否定词的数量，对该情感词作出正确的情感值计算。对于分类任务，情感词典将帖子中每个分词从类别标记集合{c1,c2}中判断出一个标记，c1,c2分别为积极情绪标记和消极情绪标记，若分词匹配不到关键词则跳过该分词的情感标记。最终使用绝对多数投票法(majority voting)作为结合策略考察该帖子的整体情感倾向[27]。具体来说，我们将情感词典在帖子样本x上的判别输出表示为一个T维向量(ci(x1);ci(x2);…;ci(xT))，其中ci(xj)是在情感词cj上的输出，则绝对多数投票法的判别公式为：

H(x)

(9)

基于投票法的情感分类方法给每条评论贴上专属的情感标签：“积极”、“消极”以及“中性”，通过统计当天同种情感的发帖数，构建个体投资者情绪指标，第t日个体投资者积极(消极)情绪总量OPt(PEt)公式分别为：

OPt=日积极类情绪帖子数

(10)

PEt=日消极类情绪帖子数

(11)

2.3 精度检验

精度是分类任务中最常见的性能度量指标，反映分类正确的样本数占总样本数的比例。情感词典的情感识别效果以精度度量[27]，对于包含m条样本个体的测试集合D，精度定义为：

(12)

其中Ⅱ(·)为指示函数，若·为真则取值1，否则取值0。f为基于不同情感词典的评论情感识别方法，xi为单条待确定情感分类的评论，yi为xi对应的由专家判别的情感倾向。

2.4 格兰杰因果检验

考察情绪与收益率和成交量的互动关系时，通过格兰杰因果检验方法建立时间序列的先导-滞后关系模型：

(13)

(14)

其中Yt为对数收益率Rt[19]、成交量VOLt，Xt为个体投资者情绪。需要注意的是，格兰杰因果检验建立的并不是实际意义上的因果关系，而是统计意义上被解释变量与解释变量的先导-滞后关系。实证分析中选择不同滞后期长度进行检验，并采用AIC准则作为最优滞后阶数的选取依据。

3 实证分析

3.1 数据来源及基本统计描述

东方财富网旗下的上证指数“股吧”于2006年1月正式上线服务，是国内最早、用户访问量最大的网络金融财经信息交流社区之一。截止2014年1月，发帖总数为73万[20]。在舆论自由的今天，网络媒体发展愈加迅速，愈多的投资者参与到“股吧”畅诉己见。在2016年的下半年期间，“股吧”发帖总量高达31万，在海量的帖子背后隐藏着“多头”与“空头”势力的舆论交锋。

为了捕获帖子背后的情绪信息，需要考察帖子的文本格式。具体而言，绝大多数用户在发帖时只通过撰写标题来表达个人观点，不会在“内容”栏目重复累赘；其次，由于“股吧”采取非实名制，因此用户名称不会披露有效信息。有鉴于此，本文通过Python语言编写程序对东方财富网旗下的“上证指数股吧”帖子进行有针对性的网络爬虫，获取2016年7月1日至12月30日共311444条有效发帖标题样本。其中，论坛用户在评论时有使用表情符号的习惯，表情符号在文本分析中以“[Emoticon]”的方括号形式显示。表情符号形象生动，能够简单明了地表达情感而深受用户喜爱和使用。本文认为除了自然语言之外，表情符号也能够很好地刻画出个体投资者的情绪。为了检验表情符号的情感分析效果，我们在自然语言情感词典加添加表情符号，并在精度分析中作出对照试验。

表1给出发帖量的基本统计特征。从表1可以看到，双休日及国家法定节假日的平均发帖量远比工作日(周一到周五)的低。休假日的发帖量均值为361.80条/天；工作日的发帖量均值为2339.50条/天。股票市场休市期间，股吧发帖量明显减少；股票市场运营期间，股吧发帖量明显增多。说明股吧用户在市场营运期间保持着较高的活跃度与舆论积极性。

表1 日发帖量的基本统计特征②

注：表格括号内数据为边界显著性水平，精确到小数点后三位(下同)。

3.2 情感词典的构建

通过调用Python语言的第三方库实现数据样本的分词和词频统计，根据孙清兰[28]给出的高频词与低频词分界公式，筛选出评论中的高频词，随后将词性明确的词汇逐一划分到积极类词汇集合、消极类词汇集合、中性词汇集合以及否定词集合。对于情感词性不明确的词汇以及表情符号，将采用SO-LNPMI和SO-PMI算法计算这部分候选词的情感倾向SO值以及判别词性。

词性判别结果如表2所示。可以发现，通过SO-PMI算法得到的情感值的范围区间比SO-LNPMI算法的大，这是因为前者在推断候选词的情感过程中受到个别基准词的频率影响，后者经过标准化处理后，降低基准词集合样本不均匀所带来的影响。同时，较小的SO值范围区间便于阈值的确定。由于SO-PMI算法以0作为情感分类阈值，可能将潜在的中性词划分到极性词集合，造成推断错误。SO-LNPMI算法通过引入分类阈值可以改善推断结果。结合参考文献以及文本实际情况，SO-LNPMI算法的分类阈值设定为5。两种算法的推断精度将在3.3节中进一步讨论。

表2 情感待分类词汇的词频及SO值(节选)

注：限于文章篇幅，本节只列举了10个情感待分类词汇、词频排名前25的积极类词汇和消极类词汇。

根据表2考察论坛用户的用词习惯。词汇“国家队”与“郭嘉队”谐音，但两者的SO-LNPMI值

相差甚远。“国家队”(SO值为-2.085)属于中性情感词，而“郭嘉队”(SO值为-11.791)属于消极类词汇。这可能因为：论坛用户在输入“国家队”时错误地表达成“郭嘉队”。由于谐音词汇透露出戏谑之意，逐渐地“郭嘉队”演变成贬义词，投资者以此表达对大型国有或国控企业的不满。可以发现论坛用户在表达个人观点时构造了一批新的情感词汇，这类网络通俗用语不属于分词匹配中的《现代汉语词典》等基准词库的研究范围，是网络媒体与语言文化发展的衍生物，对情感分析研究具有重要意义。还可以发现，词汇“[微笑]”是论坛中的表情符号，在典型的汉语言情感表达属于积极类词语，但在此处被识别为中性情感词汇，说明该词汇以比较接近的频率分别与积极/消极类集合词汇同时出现，这可能因为：部分论坛用户有使用反语的语言表达习惯，在消极类评论中加入表情符号“[微笑]”，表示一种自嘲、讽刺的情感。“黑色”与“绿色”是描绘色彩的词汇，但在股票市场中，更多地用来描述市场不景气，反映投资者的消极情绪。

构建的情感词典如表3所示。表3显示，论坛用户在发帖内容中经常伴随着表情符号，诸如[大笑]、[拜神]、[胜利]、[不赞]等，其中词频排名前25的积极类词汇中，出现了[大笑]、[拜神]、[胜利]等表情符号；相反，消极类词汇仅在第25位出现[不赞]一种表情符号。结合表4的表情符号词频统计，可以发现积极类表情符号的累计词频约为消极类表情符号的两倍，积极类表情符号的使用频率要远高于消极类符号，说明投资者处于积极状态时，热衷于使用表情符号表达情绪；相反，投资者处于消极状态时，倾向于使用自然语言表达情绪，同时减少表情符号的使用。

表3 情感指标词典与否定词词典(节选)

3.3 情感词典的精度检验

为了检验情感词典的识别精度，本节随机抽取1000条评论作为测试样本，考察五种词典构建方法的表现。表5给出五种情感词典的识别精度。对比Ⅰ—Ⅲ组的词典精度，发现由SO-PMI算法构建的情感词典(含表情符号)精度最低，只有79.3%，其次为SO-LNPMI算法构建的情感词典(不含表情符号)，最高的为SO-LNPMI算法构建的情感

表4 词频前10的积极/消极表情符号(Emoticon)

词典(含表情符号)，高达83.00%，说明SO-LNPMI算法的情感判别效果要优于传统的SO-PMI算法，并且表情符号能够进一步提高情感识别精度，反映出表情符号是财经论坛用户表达情感的一种方式。

此外，引入两种常见的关键词分析算法进行精度对比，包括：信息增益(Information Gain，IG)和词频-逆向文件频率(Term Frequency-Inverse Document Frequency，TF-IDF)[29]。IG和TF-IDF是监督学习算法，需要事先标记训练样本的情感分类信息。在精度检验中，首先选取测试样本中的积极评论和消极评论作为这两种方法的训练集合，然后判别候选词的情感，最后构建相应的情感词典。对比Ⅲ—Ⅴ组的词典精度，发现在考虑表情符号的

表5 情绪词典识别精度

情况下，由IG算法构建的情感词典识别精度最低，只有77.90%，其次为TF-IDF算法构建的情感词典，最高的为SO-LNPMI算法构建的情感词典，说明SO-LNPMI算法的情感词分类效果要优于IG和TF-IDF算法。本文还随机抽取2000条评论作为测试集，精度识别有类似的结果。

3.4 投资者情绪与收益率和成交量的互动关系

累加同一天的同种情绪帖子数量即可获取个体投资者当日积极情绪总量OP、投资者当日消极情绪总量PE。考察两者以及上证指数对数收益率R[20]、成交量VOL的时间序列基本统计特征，如表6。

表6对四个时间序列的ADF单位根检验表明，四个序列皆为平稳序列。其中沪市收盘价、成交量的日度数据来源于国泰安数据库。

表6 情绪与收益率和成交量的基本统计特征

投资者情绪与收益率和成交量的格兰杰因果检验结果分别用表7、表8表示，其中第Ⅰ到Ⅳ组的变量均由SO-LNPMI算法获取的情感指标词典刻画的情绪时间序列，OPword/PEword分别为自然语言情感词典(不含表情符号)刻画的积极/消极情绪时间序列，OPsent-lnpmi/PEsent-lnpmi分别为结合自然语言与表情符号的情感词典刻画的积极/消极情绪时间序列。第Ⅴ和Ⅵ组的变量均由SO-PMI算法获取的情感指标词典刻画的情绪时间序列，OPsent-pmi/PEsent-pmi分别为结合自然语言与表情符号的情感词典刻画的积极/消极情绪时间序列。

从表7可以发现在显著性水平为10%的情况下，所有方法刻画的投资者积极情绪均是上证指数收益率的格兰杰原因，消极情绪均不是收益率的格兰杰原因。这可能因为：流露出积极情绪的“多头”势力能较为准确地预测到市场趋势，并通过做多机制迅速参与到市场，最终影响资产价格；流露出消极情绪的“空头”势力未能对市场做出合理预判，又或者因为我国缺乏做空机制，“空头”势力未能迅速参与到市场中，错失获利机会。收益率不是个体投资者情绪的格兰杰原因，这可能因为：相比机构投资者而言，个体投资者的投资知识匮乏、时间与精力不足，在做投资决策时常常轻易相信论坛中传播的噪声信息，或者受羊群效应的影响，盲目跟随其他投资者的交易决策[30]，受前期市场走势的影响较小。

表7 个体投资者情绪与收益率的格兰杰因果检验结果

注：***、**、*分别表示在1%、5%、10%的统计水平下显著，下同。

从表8可以看出，第Ⅰ和Ⅲ组的检验结果表明仅由自然语言刻画的积极情绪OPword不是成交量的格兰杰原因，添加表情符号后的情感词典能更好地刻画论坛中的个体投资者积极情绪，体现为OPsent-lnpmi是成交量的格兰杰原因。对比第Ⅰ和Ⅴ组检验结果，发现SO-LNPMI算法得到的情感词典识别效果要优于传统的SO-PMI算法，表现为，我们在显著性水平5%的情况下认为OPsent-lnpmi是成交量的格兰杰原因，仅在显著性水平10%的情况下认为OPsent-pmi是成交量的格兰杰原因。此外，我们在显著性水平1%的情况下认为所有方法刻画的投资者消极情绪均是成交量的格兰杰原因。消极情绪与成交量的格兰杰因果关系比积极情绪与成交量的关系更为明显，这可能因为：个体投资者受到负面偏见效应(Negativity Bias)的影响。论坛中传播的悲观信息对投资者的影响比乐观信息的影响要大[31]。消极情绪可能导致个体投资者进行更加频繁的交易，投资者试图通过交易获利来消除自身的消极情绪。总体而言，SO-LNPMI算法刻画的个体投资者积极/消极情绪与成交量之间互为格兰杰原因，说明投资者在网络论坛上表达个人情绪，由于情绪具有传染性，进而影响到其他投资者的交易意愿，受到论坛的噪声信息影响的投资者会参与到交易中，引起股票市场成交量的变化；投资者受前期的交易意愿影响，前期的买卖活跃度将会影响到投资者对未来市场的预判。

表8 个体投资者情绪与成交量的格兰杰因果检验结果

表9 投资者情绪与收益率和成交量的格兰杰因果检验结果

4 结语

中国的金融市场和社交媒体平台都处于迅速发展阶段，越来越多的个体投资者汇聚到财经论坛发表观点、交换市场信息，深入挖掘、分析这些舆论背后隐藏的信息，可以更全面地诠释投资者的行为，对市场做出合理预判。本文采用网络爬虫的方法，挖掘上证指数股吧2016年下半年的31万条发帖文本，提出一种改进的SO-LNPMI算法建立情感指标词典，并通过词典匹配和投票法构建个体投资者情绪指标，以此研究个体投资者情绪与上证指数收益率和成交量的互动关系。研究发现：(1)与经典的SO-PMI算法相比，基于SO-LNPMI算法建立的情感词典的情感识别精度更高。(2)个体投资者积极情绪是收益率的格兰杰原因，消极情绪对其影响不显著，收益率不是个体投资者情绪的格兰杰原因。(3)投资者情绪与成交量存在双向的格兰杰因果关系。(4)投资者处于积极状态时，会热衷于使用表情符号表达情绪；相反投资者处于消极状态时，倾向于使用自然语言表达情绪，同时减少表情符号的使用。

本文的研究结果不仅表明投资者的非理性特征，而且证明网络论坛中的有效信息可以传递到股票市场，影响资产收益和成交量。对投资者而言，整理和甄别论坛中的有效信息，特别是反映积极情绪的信息，能够帮助投资者提高投资决策效率。对市场管理者而言，通过情感分析工具捕获网络论坛信息背后的个体投资者情绪，能够帮助其更全面地认识投资者行为，规范市场监管，提高市场运营效率。具体而言，当论坛中的消极情绪值达到一个阈值或高峰值时，“空头”势力压倒了“多头”势力，可能反映出股票市场不景气、行业企业运营陷入低迷等状况。投资者情绪发出预警，帮助市场管理者应急决策。

本文假设论坛用户的发帖句式都是肯定陈述句和否定陈述句，但在现实中，用户有使用反语表达否定观点的情况。如何进一步改善自然语言处理技术并将其与投资者情绪测度相结合，是今后的研究方向之一。收集不同经济周期(繁荣、衰退、萧条和复苏)的财经论坛文本信息，探讨个体投资者在不同周期下的行为特征、投资者情绪与股票价格行为的周期型互动关系，是下一步的研究工作。