韩黎敏 席萍

摘 要：为了深入了解语音情感识别领域的技术发展状况，采取定量与定性交叉融合的分析方式，对当今语音情感识别领域相关专利的申请态势、技术发展脉络、申请国别、主要申请人等进行了多角度的分析和探讨。结果表明，在语音情感识别技术的发展进程中，中国虽然起步较晚，但发展速度很快，已逐渐赶超美、日、韩等发达国家;中国大部分专利还处于科研阶段，距大规模商业化尚有一定距离。另外，中国语音情感识别领域还有很多技术空白点，亟待专利布局，因此，中国的科研院校与企业应积极合作，发挥各自优势，以市场为导向，提高语音情感识别技术的市场竞争力。同时，要进一步加大对语音情感识别技术基础要件的科研力度，并勇于探索更尖端的技术领域。研究结果不仅可作为语音情感识别领域科研人员确定研究方向的依据，还可为政府和企业的规划决策提供参考。

关键词：语音处理;语音情感识别;专利检索;专利分析;专利申请态势

中图分类号：TN91234文献标识码：A

doi： 10.7535/hbgykj.2020yx05005

收稿日期：2020-07-31;修回日期：2020-09-10;责任编辑：王海云

第一作者简介：韩黎敏（1981—），女，陕西渭南人，二级调研员，主要从事语音和导航领域专利审查及知识产权方面的研究。

通讯作者：席 萍。E-mail：dlmuxiping@163.com

韩黎敏，席萍.

语音情感识别专利分析[J].河北工業科技，2020，37（5）：326-334.

HAN Limin， XI Ping.

Analysis on patents of speech emotion recognition[J].Hebei Journal of Industrial Science and Technology，2020，37（5）：326-334.

Analysis on patents of speech emotion recognition

HAN Limin， XI Ping

（Optics and Electronics Technology Invention Examination Department of Patent Office， China National Intellectual Property Administration， Beijing 100088， China）

Abstract：

In order to understand the development of technology in the field of speech emotion recognition deeply， a method integrated with quantitative and qualitative modes was adopted to analyze and discuss the relevant patents in the field of current speech emotion recognition from multiple perspectives， such as the application trend， development thread of technology，country ofapplication and main applicants. The results show that although the development process of speech emotion recognition technology in China started relatively late， it has developed dramatically， and has gradually surpassed the developed countries such as the United States， Japan， and South Korea. However， most Chinese patents are still in the scientific research stage， which is still a long way from the large-scale commercialization. In addition， there are still many technical gaps in the field of speech emotion recognition in China， and the patent layout is urgently needed. Therefore， the scientific research institutions and enterprises in China should actively cooperate， give full play to their respective advantages， and be market-oriented to improve the market competitiveness of speech emotion recognition technology. At the same time， it is necessary to strengthen the scientific research on the basic elements of speech emotion recognition technology， and dare to explore more advanced fields. The research results can not only be used as reference for researchers to determine the research direction in the field of speech emotion recognition， but also provide a reference for the government and enterprises to make planning and decisions.

Keywords：speech processing; speech emotion recognition; patent retrieval; patent analysis; patent application trend

随着计算机技术的发展，人们尝试用自然语言与计算机进行沟通，语音识别技术越来越受到关注。深度学习等人工智能技术的加入，促进了语音识别技术的发展。近年来，人们越来越期望人机交互如人与人交互一样自然、方便，语音情感识别技术成为研究热点。语音情感识别技术不仅在学术上有着重要的研究价值，而且可以带来巨大的商业收益[1]。

研究者们就语音情感识别技术做了大量的研究和分析，其中，有学者从宏观角度对语音情感识别技术进行了系统性的评价。2014 年，赵力等[2]从情感描述模型、情感语音数据库、特征提取和识别算法4 个角度总结了语音情感识别的研究进展，认为情感语料、情感与声学特征之间的关联、语音情感识别的建模、语音情感识别技术的推广是该领域面临的值得深入探索的问题;2017年，李银河等[3]总结了语音情感识别算法的分类概况、常用分类算法的优缺点，认为对语音情感识别算法理论和应用的探讨将会一直是机器学习和人工智能的重要研究领域;2018年，胡冬妮等[4]基于知网数据对中国的语音情感识别研究情况进行了综述，认为寻找更好的分类性能特征和分类方法、维度情感研究以及标准情感语料库的构建是语音情感识别的研究重点和难点;同年，饶元等[5]总结了基于语义分析的情感计算技术的研究进展，提出基于多模态可以获取更加细微的情感变化，以及在个性化情感研究的基础上，进一步实现对群体情感的识别;2019年，陈军等[6]对多模态情感识别进行了总结与分析。研究者们对语音情感识别技术发展进行的不同阶段、不同角度的探讨和分析，对该项技术的发展起到了积极的作用，但是，他们基本上是从科研工作者的视角进行的研究，而尚未发现从专利数据的角度对语音情感识别技术的研究。

专利分析是通过使用各种定量或定性的分析方法，对大量零碎的专利信息进行分析、整合，研究专利信息之间的相互关联性，并将之转化为具有预测功能的竞争情报，进而产生出能够指导国家、行业、企业生产和经营决策的重要情报，具有战略性价值[7]。对语音情感识别领域进行专利分析，在学术研究和商业应用方面都有着重要意义。基于此，本文针对语音情感识别领域的专利数据进行统计分析，采取定量分析与定性分析交叉融合的方式，形成准确的技术预测，以幫助创新主体掌握技术发展趋势，填补技术空白，进而为企业、产业、国家等多层面决策提供参考。

1 数据来源与检索表达式

数据来源于国家知识产权局专利检索与服务系统中的CNABS（中国专利文摘数据库）和DWPI（德温特世界专利索引数据库）2020-05-02之前公开的专利申请文献。

为了保证专利信息的全面性，除语音情感识别直接指向性分类号（G10L25/63专门适用于情感状态估计的语音或声音分析技术）之外，同时考虑了涉及语音情感技术内容的其他相关分类号，例如：G10L15/00及其下位组、G10L25/00及其下位组（除G10L25/63之外）。

先获取数据库中与语音情感识别技术相关的分类资源（/ic/cpc/fi ， G10L25/00 or G10L15/00），结合中英文关键词（（情绪 or 情感 or 感情 or 心情）s（语音 or 声音 or 音频）），在CNABS中对中国专利进行检索，在DWPI中对除中国外的其他国家专利进行检索，对结果进行人工去噪以及关键技术标引，合并同族后，提取得到全球相关专利申请共820项，其中首次在中国提出的专利申请共599项。该599项专利申请中，实用新型专利申请仅有5件，其余均为发明专利申请。

2 专利申请态势分析

2.1 申请量分析

以时间为线索对专利申请量的变化进行分析，可以了解某项技术发展水平的变化规律，进而预测该项技术的发展趋势，为创新主体在科研立项、技术开发等重大决策时提供依据。

图1反映了语音情感识别技术的申请趋势。

从图中可以看出，语音情感识别技术起步较晚，属于新兴技术。专利申请量基本上呈逐年上升趋势，根据申请数量大致可以划分为4个阶段。

1）萌芽阶段（1993年—2004年）

2005年以前，每年语音情感识别专利的申请量均为个位数，申请人主要集中在美国、日本和韩国。这时的语音情感识别专利尚处于技术萌芽期，相关技术均不成熟。

2）雏形阶段（2005年—2010年）

这一阶段，全球专利申请量共有90件。中国也于2005年出现了第1例申请，申请人为金庆镐和裴明振，均就职于韩国LG电子株式会社。可见国外已经开始在中国布局关于语音情感识别的专利申请。中国国内的申请人最早出现在2007年，标志着中国已经开始了语音情感识别技术领域的探索。实际上，中国对语音情感识别的研究始于2000年，东南大学的赵力教授课题组发表了相关论文[2，8-10]，率先开始了语音情感识别的研究工作。但在2007年之前，中国的研究仅限于理论层面，并没有开始对专利进行布局。这一时期，语音识别领域的主要研究热点为语音处理的准确度，对于情感识别的需求尚未凸显，有关语音情感识别的申请尚未形成规模。

3）慢速发展阶段（2011年—2015年）

随着计算机多媒体信息处理技术和人工智能的快速发展，语音情感识别研究的发展步伐逐步加快[11]，相关专利申请呈稳步增长状态。这一阶段，全球年申请量从20多件增加到60多件，总量达到196件，更多的申请人开始进入语音情感识别技术领域布局，识别技术也呈现多样化的特点，除了基于声音特征进行识别外，语义识别、组合识别的申请量开始增长，并且基于生理特征与语音特征的情感识别技术方案也纷纷出现。这一阶段在中国首次提出的申请达到94件，占比48%，这说明中国已经开展了大量的相关研究，并取得了初步成果。这期间，由于语音识别理论没有大的突破，技术适用性普遍不高，因此专利的申请量虽然在稳步增长，但是增长速度比较缓慢。

4）快速发展阶段（2016年至今）

2016年，全球的年申请量达到108项，突破三位数，此后逐年快速增加，并在2018年达到顶峰（192件）。由于专利从申请到公开有18个月的滞后期，使得部分专利还处于未公开状态，因此 2018 年以后的数据仅作参考。这一阶段，中国申请量也呈现出快速增长的趋势，且占全球申请量的比例也逐年增加。申请量爆发式的增长，主要归功于语音识别技术在各种移动终端上的广泛应用，以及智能手机行业的飞速发展。这一阶段，语音情感识别技术发展迅速，尤其是新兴的互联网企业和高校都试图抢占市场，纷纷提出多种类型的语音情感识别技术的申请。申请量的增长也从另一个角度反映了创新主体对这一技术的重视。

2.2 技术发展脉络分析

重点专利通常代表一个创新主体的核心技术，通过分析重点专利可以获得技术演进图，便于追踪专利技术的发展变化趋势，解析影响因素，来帮助企业了解竞争的技术环境，增强技术创新的目的性，对其借鉴创新思路、修正产品方案、梳理技术发展路线等具有重要意义[12]。重点专利的筛选主要遵循以下几方面的规则：专利申请时间早、专利被引证的频率大、专利的同族数量多、专利维持有效时间长、专利被广泛认可或模仿多等。依据上述筛选规则，结合重点专利对语音情感识别技术的发展脉络进行梳理，结果详见图2。

1）语音情感识别方法的演进

在初期专利中，各研究机构主要依据用户语音的语调、音高、音长等韵律特征与已有模板进行对比识别。1993年，日本富士施乐有限公司（JP07104778A[13]）首次将用户对话中的语音信息中蕴含的用户情感通过情感输出装置表征出来。

随着移动应用技术的快速发展，大量的智能终端通过社会化媒体应用软件，形成了混杂海量视频、语音、文本等异构内容的大数据几何，针对这些异构数据的处理与应用，直接推动了情感计算技术从单模态向多模态方向的发展和演化[5-6，14-15]。1995年之后，陆续有企业开始将用户语音、语义、面部表情、呼吸、心电等特征相结合，使用多模态特征进行情感识别研究（JP10228295A[16]，JP2001215993A[17]，EP1256937A2[18]）。2005年起，大部分申请人高度关注基于声音特征提取的情感识别（US2007271098A1[19]）。

中国高校在算法方面也取得了一系列发展。2007年，浙江大学（CN101226742A[20]）申請的基于倒谱特征线性情感补偿的说话人识别方法，拓展了声纹模型的建模信息;2008年，为了解决中国情感数据库匮乏的问题，北京航空航天大学（CN101201832A[21]）提出一种汉语语音情感信息的提取及建模方法，采用不同的特征组合训练多级语音情感识别系统的SVM模型;随着压缩感知思想在模式识别领域的飞速发展，2012年，东南大学和富士通（CN103578481A[22]）联合提出了一种跨语言的语音情感识别方法，通过加权融合的判别方法实现了汉语和德语的跨语言情感特征区分，拓宽了多语言场景下的情感识别;随着深度学习技术的发展，2014年，合肥工业大学（CN104200804A[23]）提出了基于深度学习的多类信息耦合的情感识别方法;2016年，南京邮电大学（CN106782602A[24]）提出了一种基于LSTM和CNN的语音情感识别方法，将2种不同的网络模型进行了融合，情感识别的准确性和鲁棒性均得到了提高;2018年，中国地质大学（CN108899049A[25]）提出了一种卷积神经网络情感识别方法及系统，提升了语音情感识别的准确性和实时度。随着研究的深入，一些便利的开源框架被开发出来，大大提高了研究者的科研效率，对具有区分性特征的自动提取成为今后语音情感识别领域的重点研究方向。

2）语音情感识别应用技术的演进

随着工业智能的发展，各公司进一步探索语音中蕴含的情感对语音交互的影响，语音情感识别被引入到不同行业[11，26-27]。1999年，PERTRUSHIN（US20020002460A1[28]）首次在语音呼叫领域内使用ANN分类器，根据语音的基频、能量、语速等韵律特征分析出用户的5种情绪，并尝试将其应用于防电信诈骗;

2001年，日本的阿鲁策公司（JP2003185221A[29]）结合用户情绪水平调节空调温度;

2002年，菲利普公司（US20040001616A1[30]）将语音情绪与客户面部表情相结合，应用在电信业务的客户满意度调查中;2002年，索尼公司（US6980098B2[31]）在智能驾驶领域引入驾驶员语音情感分析，在驾驶员疲劳的时候加以提醒;2008年，上海盛淘智能科技有限公司（CN101685634A[32]）提供了一种基于儿童语音的情感识别和合成技术，使得面向儿童的智能电子产品具有高度的人性化、智能化;2012年，百度在线网络技术（北京）有限公司（以下简称百度）（CN103546503A[33]）将语音情感识别应用在云社交网络平台;2014年，中国科学院软件研究所和中国医学科学院北京协和医院（CN103956171A[34]）将语音情感识别应用在医疗领域，作为精神疾病诊断和治疗的依据;2019年，结合数据挖掘技术在用户评价领域的发展，腾讯科技（深圳）有限公司（以下简称腾讯公司）（CN109767787A[35]）通过语音情感特征构造了用户的情感画像，深圳壹账通智能科技有限公司（以下简称深训壹账通智能，CN110070889A[36]）建立了驾驶员的情感画像，平安科技（深圳）有限公司（以下简称平安科技，CN110443692A[37]）建立了基于生理特征和语音特征的企业情感画像。

2.3 申请国别分析

图3为语音情感识别技术的主要国家申请占比，从图中能够看出，全球范围内语音情感识别技术专利主要集中于中国（CN）、日本（JP）、美国（US）、韩国（KR），这4国的专利申请量占据了全球申请量的96%，其中中国以599件的申请量排在首位（占比65%），美国、韩国、日本分列第2—4位，申请量分别为122，105，64件。

结合申请量的发展趋势，可以发现，中国的语音情感识别研究起步相对较晚，但是自2005年首次申请至今，中国投入到语音情感识别研究中的团队不断壮大，专利申请量出现大幅增长，逐渐赶超美国、日本和韩国，成为全球在语音情感识别領域申请量最多的国家。这有两方面的原因：1）伴随着物联网技术的兴起，语音情感识别作为重要的人机交互手段，在人工智能产品、智能家居等技术中的重要性日益凸显，并且中国高速发展所带来的潜在市场规模巨大;2）中国政府对语音识别技术非常重视，制定了一系列鼓励政策，例如，2006年发布的《国家中长期科学和技术发展规划纲要（2006—2020年）》中，智能服务被定位为重点发展的前沿技术和新的经济增长点[38];2017年，科技部召开《新一代人工智能发展规划》暨重大科技项目启动会，明确依托公司建设智能语音国家新一代人工智能开放创新平台;2018年，十三届全国人大一次会议的政府工作报告中，强调要加强新一代人工智能研发应用，而语音情感识别技术是人工智能的重要分支。由此可见，在技术蓬勃发展和政策大力扶持的双向利好形势下，中国专利申请在全球语音情感识别领域占据着越来越重要的位置。

3 专利申请人分析

对专利申请人进行统计分析，可以发现某个技术领域的重要技术拥有者，或者在该领域具有重要地位的研究者。

3.1 全球主要申请人分析

截止到2020-05-02的检索数据显示出，语音情感识别专利申请量排名前12位的申请人分别来自中国、美国、日本、韩国，如图4所示。从图中可以看出，除IBM、丰田、索尼、三星外，其余8位申请人均属于中国。语音情感识别技术申请人大多是互联网科技公司或者高校。

中国的平安科技位于第1位，从2018年的首次申请，该公司短短2年时间在语音情感识别领域进行了大量布局，拥有超过10 000名专业IT技术人员和管理专家组成的高级研发团队，致力于运用人工智能、智能认可、云计算、区块链等前沿科技打造全新的云生活。东南大学位于第2位，赵力教授带领的团队是中国最早开始研究语音情感识别技术的团队之一，在该领域的基础研发方面表现颇为出色。美国的IBM位于第3位，是全球最大的信息技术和业务解决方案公司，1996年就发布了语音系统，2006年推出Waston语音服务，在语音识别领域有着丰厚的技术经验。日本汽车制造公司丰田位于第4位，在自动驾驶前景的驱使下，丰田不断开发车载语音识别系统，将人工智能应用于汽车行业。百度位于第5位，作为中国最先布局人工智能的科技巨头，其在智能语音交互、自动驾驶等新AI业务领域的探索，为中国的人工智能规模化落地提供了经验和案例，小度助手无疑已拥有中国市场规模最大、最繁荣的对话式人工智能生态。

另外，位于第6—12位的申请人除了几个互联网公司外，还包括南京邮电大学和华南理工大学，它们在信息与通信专业领域均具有较强实力。这在一定程度上说明，还有一部分专利申请仍处于科研阶段，尚未进行产业化，离大规模商业化时机还有一定距离。

3.2 中国主要申请人分析

虽然中国申请人的专利申请量相对较大，但全部申请都在国内，尚未发现中国企业在海外布局的情况。实际上，图4同时也体现了中国申请人在国内的申请量排名。与之相反，599件申请中，国外申请人来华申请量有14件，其中日本申请人有5件，美国申请人有3件。对中国的专利申请人进行统计分析，结果见图5。

从图5可以看出，中国申请人的类型依照申请数量由高到低依次为企业、大学、联合申请、个人和研究机构。在599件中国专利申请中，企业申请370件，占总申请量的62%，大学申请169件，占据28%，而个人仅占2%。联合申请主要体现在公司和个人联合（8件）、公司与公司联合（8件）、公司与大学联合（7件），以及公司与研究机构联合（5件）。这说明，语音情感识别技术作为一项前沿技术，对技术水平和产业化要求较高，个人很难进入这一领域，而产学研联合研发则是一个具有发展前景的运行模式。

3.3 中国专利申请人的技术分布分析

针对某一技术分支的专利申请按照申请人进行统计分析，可以得到某项技术在不同申请人之间的分布，由此能够了解哪些企业在该领域投入较多、专利活动较活跃、技术水平较领先;而针对某企业的专利申请按照不同技术分支的专利频数进行统计分析，则可以发现该企业最活跃的领域，即其开发的重点领域[39]。

为了更深入地分析研究语音情感识别领域的专利申请状态，本文将语音情感识别技术进一步划分为9个技术分支（即：特征，降噪，分类，模型，语料，趋势预测，多模型融合，多模态融合，应用），各分支的含义约定参见表1。

图6为中国专利申请人的技术分布图。

如图6所示，在中国主要申请人中，申请总量第2位的东南大学对语音情感识别技术的研究较为全面，专利布局非常广泛，在各个技术分支上都有专利分布，尤其在语音特征、模型、多模型融合方面的专利申请远远领先于其他申请人，而在应用方面的占比较小。这说明东南大学主要专注于语音情感识别技术的基础性、理论性研究。此外，东南大学在该领域已公布的发明专利申请中已有约34%被授予专利权，远高于该领域的平均授权率（17%），这说明东南大学的科研团队在该领域的专利技术含量相对较高。与之类似，申请量排名相对靠前的南京邮电大学和华南理工大学在关键技术分支上的布局也有较大占比。

中国企业在专利申请总量上有明显优势，例如平安科技和百度均有较大的申请量，但是分析后发现绝大部分属于应用类专利，在关键技术分支上存在较多空白点，而且经标引分析，核心专利也较少。这说明，虽然中国企业已经有了较强的专利布局意识，但在关键技术尚未大规模攻破的情况下，企业所申请的应用类专利的意义在于战略布局大于市场应用。可见，在中国的语音情感识别领域，主要研究力量还集中在科研院校，技术分支大多还处在基础研发阶段，产业化程度有待提高。

如图6所示，中国专利申请中关于语料的技术分支数量极少，只有3件，可以说该技术分支基本处于空白状态。一个丰富优质的语音情感语料库是开展语音情感计算研究的必要基础，可以为研究工作提供可靠的训练和测试用数据。建立高质量的語料库是语音情感识别技术发展的必然要求，中国的研究者不妨将研发重点集中于此，掌握专利先机。除了语料之外，降噪、分类、模型、趋势预测等技术分支的专利布局也都比较少，建议中国进一步对语音情感识别技术的基础要件加大科研力度，围绕重点和核心技术加强研发和专利布局，形成核心专利的有效保护。

此外，分析中还发现，在中国申请的599件语音情感识别专利中，涉及申请人多达294位。除了图6所示的主要申请人的申请量较多之外（最多37件），其他申请人的申请量均非常小。可见，中国的申请主体多、研究领域相对较分散，这些特点决定了目前中国难以形成系统性的突破和创新，建议优化研发环境，促使研究者强强联合，充分鼓励企业和高校进行产学研联合。

4 讨 论

本文在对专利库进行充分检索的基础上，从全球专利申请态势、技术发展脉络、主要国家申请占比、主要申请人分析、中国专利申请人技术分布等方面对当今的语音情感识别领域的相关专利进行了分析和探讨。可以说，语音情感识别技术经过20多年的发展已经取得了长足进步，全球加入该领域的研究者越来越多，中国后来者居上，逐渐赶超了美国、日本、韩国等技术先进的国家，但也要清醒地意识到，依然存在着一些问题。

4.1 中国企业专利申请总量大，优势企业少

1）大部分中国专利申请仍处于基础科研阶段，离大规模商业化还有一定距离;中国企业的专利申请量虽然较大，但绝大多数属于应用类专利，而重点专利和核心专利较少。

2）中国专利申请人的分布较为分散，这说明中国的语音情感识别技术的发展较分散，研发力量不够集中，有可能造成大量的重复性研究，导致成本的浪费。

3）虽然存在着国内科研院校与企业合作申请的情况，但是数量非常少，只有12件。因此，建议国内企业除了加大研发投入之外，还应该积极借力科研院校，通过合作研发，发挥自身优势，将研究与产品开发相结合，以市场为导向，提高语音情感识别领域的市场竞争力。

4.2 关键技术分支存在大量空白，亟待填补

鉴于“语音情感”本身的复杂性，该领域仍旧面临着若干值得深入探索的问题，距离真正的人机自然交互还有很长的路要走。中国专利申请中以语料技术分支为首的关键技术的申请数量少，甚至基本处于空白状态，建议中国企业、高校等研究主体抓住时机，对语音情感识别技术的基础要件加大科研力度，特别是针对语料、降噪、分类、模型、趋势预测等关键技术，要进一步加强研发和专利布局，形成核心专利的有效保护。

4.3 某些技术节点专利布局广泛，授权难度提高

人们在交流时，如果在倾听内容的同时，也观察发言者的语气、语调以及面部表情和肢体行为，则会帮助倾听者更加准确地理解和判断发言者说话的动机、意图以及相应的情感状态。因此，许多人认为多模态是语音情感识别的未来发展方向[6，14-15]。因此，如图6所示，多模态融合技术分支在专利布局的量相对较大，基本上覆盖了目前应用在情感识别技术的各个方面，包括面部、声音特征、语义特征、脑电、心电、性格、外部环境等等，但多数属于简单组合，融合技术本身的改进较少。值得注意的是，平安科技目前公布的专利申请中，已经有11件涉及多模态融合，该企业的申请量增长趋势迅猛，可以预见尚未公开的申请量也不会少，有形成专利组合之势。综合来看，就目前阶段，如果对多模态融合的构思仅是浅尝辄止，将很难被授予专利权，除非融合技术本身有较大突破。

4.4 海外专利布局还是空白，有待发展

目前，虽然中国申请人的专利申请量相对较大，但全部都在国内，尚未发现中国企业在海外布局的情况。而对于国外企业，如日本的富士康、美国的IBM在语音情感识别领域进行研发的同时，非常重视海外市场，积极在海外进行专利布局。随着语音情感识别技术的发展，海外将会成为企业未来产品的潜在市场，企业势必要走出国门。为了避免届时在知识产权保护方面处于被动状态，建议企业在条件成熟时积极进行海外专利的布局。

综上所述，目前申请且公开的专利中，绝大多数语音情感识别技术使用神经网络模型，在相对静态的深度学习方面有所进展，但是人脑处理的都是动态的时空信息，与深度学习方法多有不同。分析中发现，有个别专利提到对连续语音信号的处理，然而均仅仅是输入连续语音信号，后续处理时仍然是静态处理配合趋势预测的方式，尚未发现类脑的动态模式识别方法的专利。今后，类脑技术将有望成为新的研究热点，并相信类脑技术的发展必然能够给语音情感识别技术带来质的飞跃。

参考文献/References：

[1] 陈嘉. 基于深度学习的语音情感识别[D]. 南京：南京邮电大学，2019.

CHEN Jia. Speech Emotion Recognition Based on Deep Learning [D]. Nanjing：Nanjing University of Posts and Telecommunications，2019.

[2] 赵力，黄程韦. 实用语音情感识别中的若干关键技术[J]. 数据采集与处理，2014，29（2）：157-170.

ZHAO Li，HUANG Chengwei. Key technologies in practical speech emotion recognition [J]. Journal of Data Acquisition and Processing，2014，29（2）：157-170.

[3] 李银河，李雪晖，徐楠，等. 语音情感识别分类算法研究综述[J]. 南阳师范学院学报，2017，16（6）：28-33.

LI Yinhe，LI Xuehui，XU Nan， et al. Research on speech emotion recognition classification algorithm[J]. Journal of Nanyang Normal University，2017，16（6）：28-33.

[4] 胡冬妮，王武军，王青. 基于知网数据的情感识别国内研究情况综述[J]. 网络新媒体技术，2018，7（6）：1-9.

HU Dongni，WANG Wujun，WANG Qing. Review of domestic research on emotion recognition based on how-net data [J]. Journal of Network New Media，2018，7（6）：1-9.

[5] 饶元，吴连伟，王一鸣，等. 基于语义分析的情感计算技术研究进展[J]. 软件学报，2018，29（8）：2397-2426.

RAO Yuan，WU Lianwei，WANG Yiming，et al. Research progress on emotional computation technology based on semantic analysis[J]. Journal of Software，2018，29（8）：2397-2426.

[6] 陈军，王力，徐计. 基于多模态组合模型的语音情感识别[J]. 软件，2019，40（12）：56-60.

CHEN Jun，WANG Li，XU Ji. Speech emotion recognition based on multi-modal combination model [J]. Computer Engineering & Software，2019，40（12）：56-60.

[7] 丛玲.实用专利技术简明教程[M]. 天津：天津大学出版社，2007.

[8] 赵力，钱向民，邹采荣，等. 语音信号中的情感特征分析和识别的研究[J]. 通信学报，2000，21（10）：18-24.

ZHAO Li，QIAN Xiangmin，ZOU Cairong， et al. A study on emotional feature analysis and recognition in speech signal[J]. Journal of China Institute of Communications，2000，21（10）：18-24.

[9] 赵力，钱向民，邹采荣，等. 语音信号中的情感识别研究[J]. 软件学报，2001，12（7）：1050-1055.

ZHAO Li，QIAN Xiangmin，ZOU Cairong， et al. A study on emotional recognition in speech signal [J]. Journal of Software，2001，12（7）：1050-1055.

[10]余华，王治平，赵力. 语音信号中情感特征的分析和识别[J]. 电声技术，2004（3）：30-34.

YU Hua，WANG Zhiping，ZHAO Li. Emotional feature analysis and emotion recognition of speech [J]. Audio Engineering，2004（3）：30-34.

[11]韩文静，李海峰，阮华斌，等. 语音情感识别研究进展综述[J]. 软件学报，2014，25（1）：37-50.

HAN Wenjing，LI Haifeng，RUAN Huabin，et al. Review on speech emotion recognition[J]. Journal of Software，2014，25（1）：37-50.

[12]楊铁军.专利分析可视化[M].北京：知识产权出版社，2017.

[13]FUJI XEROX Corporation. Feeling Expressing Device[P]. JP：07104778A，1995-04-21.

[14]贾俊佳，蒋惠萍，张廷. 多模态情感识别综述[J]. 中央民族大学学报（自然科学版），2020，29（1）：54-58.

JIA Junjia，JIANG Huiping，ZHANG Ting. Survey on multimodal emotion recognition [J]. Journal of Minzu University of China （Natural Sciences Edition），2020，29（1）：54-58.

[15]颜洪，刘佳慧，覃京燕. 人工智能语境下的情感交互设计[J]. 包装工程，2020，41（6）：13-19.

YAN Hong，LIU Jiahui，QIN Jingyan. Emotional interaction design in artificial intelligence context[J]. Packaging Enginee-ring，2020，41（6）：13-19.

[16]ATR CHINO EIZO TSUSHIN KENKYUSHO KK. Hierarchical Feeling Recognition Device [P].JP：10228295A，1998-08-25.

[17]SONY Corporation. Data Processor for Interactive Computer System， Estimates the User's Preference Data Using Extracted Rhythm and Meaning Information [P]. JP：2001215993A，2001-08-10.

[18]SONY FRANCE S A. Emotion Recognition Method and Device [P].EUR：1256937A2，2002-11-13.

[19]International Business Machines Corporation. Method and Apparatus for Recognizing and Reacting to User Personality in Accordance with Speech Recognition System [P]. US：2007271098A1，2007-11-22.

[20]浙江大学. 基于情感补偿的声纹识别方法[P]. CN：101226742A，2008-07-23.

[21]国际商业机器公司. 优化网页图像的方法和系统[P].CN：101201832A，2008-06-18.

[22]东南大学，富士通株式会社. 一种跨语言的语音情感识别方法[P].CN：103578481A，2014-02-12.

[23]合肥工业大学. 一种面向人机交互的多类信息耦合的情感识别方法[P].CN：104200804A，2014-12-10.

[24]南京邮电大学. 基于长短时间记忆网络和卷积神经网络的语音情感识别方法[P].CN：106782602A，2017-05-31.

[25]中国地质大学（武汉）. 一种基于卷积神经网络的语音情感识别方法及系统[P]. CN：108899049A， 2018-11-27.

[26]刘大诚. 人工智能情绪识别应用研究[J]. 中国高新科技，2019（49）：59-62.

[27]潘莹. 情感识别综述[J]. 电脑知识与技术，2018，14（8）：169-171.

PAN Ying. Survey on emotion recognition[J]. Computer Knowledge and Technology，2018，14（8）：169-171.

[28]PERTRUSHIN V. Voice Messaging System that Organizes Voice Messages Based on Detected Emotion [P]. US：20020002460A1，2002-01-03.

[29]ARUZE Corporation. System and Method for Air Conditioning Control [P]. JP：2003185221A，2003-07-03.

[30]GUTTA S，COLMENAREZ A，TRAJKOVIC M. Measurement of Content Ratings Through Vision and Speech Recognition [P]. US：20040001616A1，2004-01-01.

[31]SONY Corporation. Information Processing Apparatus， Information Processing Method and Program Executed in Information Processing Apparatus[P].US：6980098B2，2005-12-27.

[32]上海盛淘智能科技有限公司.一種儿童语音情感识别方法[P]. CN：101685634A，2010-03-31.

[33]百度在线网络技术（北京）有限公司. 基于语音的云社交系统、方法及云分析服务器[P]. CN：103546503A，2014-01-29.

[34]中国科学院软件研究所，中国医学科学院北京协和医院. 一种多通道简易精神状态检测系统[P].CN：103956171A， 2014-07-30.

[35]腾讯科技（深圳）有限公司. 情绪识别方法、设备及可读存储介质[P]. CN：109767787A，2019-05-17.

[36]深圳壹账通智能科技有限公司. 车辆监控方法、装置及存储介质、服务器[P]. CN：110070889A，2019-07-30.

[37]平安科技（深圳）有限公司. 企业信贷审核方法、装置、设备及计算机可读存储介质[P]. CN：110443692A，2019-11-12.

[38]梁荣健，张涛，王学谦. 家用服务机器人综述[J]. 智慧健康，2016，2（2）：1-9.

LIANG Rongjian，ZHANG Tao，WANG Xueqian. A review of home service robot [J]. Smart Healthcare，2016，2（2）：1-9.

[39]许明金. 竞争对手情报的采集与分析[M].海口：海南出版社， 2008.