APP下载

智能家电语音识别关键技术测试比对研究

2022-07-21王衍营尹江梅

日用电器 2022年6期
关键词:测试点成功率噪音

潘 勇 徐 静 王衍营 赵 毅 尹江梅

(山东省产品质量检验研究院 济南 250102)

引言

近年,智能家电逐渐成为消费者购买或置换的首选产品,其最具吸引力的卖点是语音识别。与智能家电产品的火热相比较,家电智能化评价标准[1]、评价方案的缺失或片面导致有效的语音识别测试技术和方案难以跟上智能家电产品推陈出新的节奏,致使生产企业、检验机构无法对智能家电语音识别功能进行准确的评测[2],消费者的语音识别使用体验也大打折扣。

在此情景下,配套的、有效的、全面的语音识别测试关键技术研究显得尤为重要。科学合理的语音识别评测才能为企业生产的产品质量提升保驾护航,才能为检验机构提供准确有效的评测手段,才能确保用户在使用智能家电过程中良好体验感。因此,开展智能家电语音识别测试关键技术研究,保证智能家电行业生态的有序健康发展,服务社会民生,具有重要的现实意义。

1 语音识别测试关键技术分析

1.1 情景模拟环境要求

唤醒率和交互成功率是智能家电语音识别的关键指标。考虑到智能家电实际应用场景,语音识别唤醒率和识别准确率分别在安静和噪音两种场景下进行测试。安静场景是指智能家电所在场所环境噪音低于35 dB;噪音场所是指智能家电所在场所环境模拟噪音在55~65 dB[3]。测试用环境模拟噪音主要采用家居环境噪音录制或者白噪音,家居环境噪音录制场景设置见表1。

表1 家居环境噪音录制场景设置

误唤醒噪音来源主要是电视,包括电视机、综艺节目、新闻节目、访谈节目、音乐、相声等,直接通过声源播放。居住场所噪声最高不超过60 dB,噪声声压级范围取30~60 dB,平均分为3 个范围:30~40 dB,40~50 dB 和50~60 dB,在保证信噪比至少达到10 dB的前提下,得到如表2所示对应的3 个指令声源声压级范围。

表2 指令声源声压级范围

1.2 语音识别测试点布局及要求

智能家电语音识别测试系统由人工嘴[4]、音响、功放、全自动智能巡航设备、声级计、秒表组成,其中,人工嘴、音响、功放、全自动智能巡航设备统称为语音播放设备。调节音响和人工嘴音量使其单独发声时符合声级计在不同信噪比、距离达到的识别率时测出的分贝值。用人工嘴依次播放集成了标准普通话或带口音的普通话等测试语音指令集[5],人工记录或者自动记录被测试智能家电产品语音识别结果。智能家电语音识别测试整体布局应按照智能家电产品实际使用时的状态、方位进行摆放。与大多数普通家庭将带有语音交互功能的智能家电产品如冰箱、电视机等靠墙放置方位一致,语音播放设备、声级计和待测智能家电位于同一平面处。语音播放设备与待测智能家电语音模块的麦克风距离≥1.5 m。声级计与待测智能家电语音模块麦克风尽量靠近,即两者之间距离≤50 mm,不能碰到待测智能家电的外壳,且声级计距其最近反射面包括地面至少1 m。特殊放置的智能家电则按照实际使用场景布局放置。语音播放设备在规定的测试点位播放测试语音集,分别在安静环境和噪音播放环境下进行语音识别测试。智能家电语音识别测试布局如图1所示。

图1 智能家电语音识别测试布局图

测试点平面布局分为近场测试和远场测试[6]。近场测试为分别包含7 个均匀分布测试点半径为1 m 和2 m的半圆;远场测试为包含7 个均匀分布测试点半径为3 m 的半圆及分别包含4 个均匀分布测试点半径为4 m和5 m 的四分之一圆;测试点高度按照中国人平均身高统计数据分为三档:1 400 mm、1 600 mm 和1 800 mm。近场测试和远场测试定位点图见图2。将图2中的29个平面测试点与3 个高度测试点组合,共计测试点97个。

图2 近场测试和远场测试定位点图

1.3 语音识别测试关键指标分析

智能家电语音识别测试关键指标主要为唤醒率和交互成功率[7]。唤醒率测试分别在安静场景和噪音场景下进行测试。调节声压级使播放声音满足表2要求,以97 个测试点,每点测试20 次,合计1 940 次,分别对两种场景下的唤醒率和交互成功率进行测试,各场景的总唤醒/总交互成功率为成功唤醒/交互的次数1 940×100 %,同时记录1 940 次唤醒率和交互成功率测试智能家电的平均响应时间。其中噪音场景下的噪音类型为电视剧4 h、综艺节目4 h、新闻节目4 h、访谈节目4 h、音乐4 h、相声4 h,测试时间合计24 h。按照团体标准T/CAB7700-2020《智能家电物联网性能测试方法第3 部分:语音识别》唤醒率的应不低于90 %,响应时间应小于2 s;交互成功率不低于80 %,响应时间应小于3 s。

2 语音识别测试结果分析

智能家电语音识别唤醒率和交互成功率测试是在山东省产品质量检验研究院智能家电实验室完成。实验室有线网络配置为上行传输速率大于1 Mbps,下行传输速率大于10 Mbps,无线网络的信号强度范围是(-40~70)dBm。智能家电选型为智慧屏、扫地机器人、饮水机、蒸烤箱和电冰箱。

2.1 语音识别唤醒成功率测试比对分析

唤醒率测试的环境包括麦克风处环境噪音35 dB 以下的安静环境和麦克风处环境噪音(55~65)dB 以下的噪音环境。在安静环境和噪声环境中,按照点位经语音播放设备播放唤醒词如“小度小度”以唤醒智能家电来测试其唤醒成功率和响应时间。智能家电语音识别唤醒率比对曲线图如图3所示。

图3 智能家电语音识别唤醒率比对曲线图

从图3可知,在安静环境下,智能家电的唤醒率较高,其中,所测智能家电的近场平均唤醒率为100 %;智慧屏、饮水机、电冰箱的远场平均唤醒率为100 %,电烤箱的远场平均唤醒率超过90 %,扫地机器人的远场平均唤醒率稍差但也超过80 %。在噪声环境下,所测智能家电近场的唤醒率为100 %,其中,蒸烤箱和电冰箱的远场平均唤醒率超过90 %,智慧屏和扫地机器人的远场平均唤醒率为100 %,饮水机的远场唤醒率不足80 %。所测智能家电在近场和远场二种状态下的整体平均唤醒率都能在90 %以上,整体来看,扫地机器人和饮水机产品远场唤醒率不符合T/CAB7700-2020 的要求。所测智能家电近场唤醒率高的原因在于语音唤醒词声压远远超过噪声声压,被测智能家电能够清晰的接收到唤醒词,完成唤醒;测试随着距离的增加到达远场测试,语音指令的衰减导致智能家电接收到唤醒词强度减弱,造成唤醒率测试都没有达到100 %。

2.2 语音识别交互成功率测试比对分析

与唤醒率测试环境要求类似,交互成功率测试环境包括麦克风处环境噪音35 dB 以下的安静环境和麦克风处环境噪音55 ~65 dB 以下的噪音环境。在安静环境和噪声环境中,按照点位经语音播放设备播放指令如“请将冰箱温度设置为-20 ℃”以发送指令的方式来控制智能家电完成相应设置来测试其交互成功率和响应时间。智能家电语音识别交互成功率比对曲线图如图4所示。

从图4可知,在安静环境下,所测智能家电语音识别整体平均交互成功率超过85 %。近场指令声压级相对环境噪声高约25 dB,掩蔽效应明显,噪音对语音播放指令干扰影响较小,被测智能家电能够准确识别和执行操作指令语句,五款被测智能家电的近场平均交互成功率都在90 %以上。随着距离的增加,在远场条件下智能家电对指令的识别率下降,智慧屏平均交互成功率超过95 %,电冰箱平均交互成功率90 %,扫地机器人、饮水机、蒸烤箱的平均交互成功率略高于80 %。在噪声环境下,所测智能家电语音识别整体平均交互成功率仅智慧屏可达到80 %以上。五款被测智能家电的近场平均交互成功率都在80 %以上。智能家电语音识别响应能力受到环境噪声和距离的双重影响,导致远场下的智能家电平均交互成功率较低均不足80 %,最低不足50 %,严重影响用户使用体验。整体来看,在安静环境下,被测五款智能家电都符合T/CAB7700-2020 的要求;在噪声环境下,被测五款智能家电都不符合T/CAB7700-2020的要求。

图4 智能家电语音识别交互成功率比对曲线图

2.3 语音识别唤醒与交互响应时间测试比对分析

语音识别唤醒与交互响应时间测试选取的是标准普通话语音唤醒词和指令。在播放语音唤醒词和指令后开始计时,等智能家电开始响应时停止计时,读取时间以此获取唤醒响应时间和交互响应时间。智能家电语音识别唤醒与交互响应时间比对曲线图如图5所示。

从图5可知,在安静环境下,所测五款智能家电语音识别唤醒平均响应时间小于1 s,交互平均响应时间小于2.5 s;在噪声环境下,所测五款智能家电语音识别唤醒平均响应时间小于1.5 s,交互平均响应时间小于3s,两种环境下的测试响应时间都符合《智能家电物联网性能测试方法第3 部分:语音识别》标准的指标要求。整体而言,安静环境下的响应时间较噪声环境下的响应时间要短,也就是说,安静环境下智能家电的唤醒和交互响应更顺畅。

图5 智能家电语音识别唤醒与交互响应时间比对曲线图

3 结论

半导体行业的快速发展造就了智能家电产品的推陈出新。语音识别功能是智能家电智能化最重要的指标之一。现阶段,国标层面GB/T 28219-2018《智能家用电器通用技术要求》支撑智能家电行业的发展,其只对智能家电提出应具备语音识别功能,却未明确如何进行测试,仅能依据团体标准T/CAB7700-2020《智能家电物联网性能测试方法 第3 部分:语音识别》对智能家电语音识别功能进行测试评价。从测试结果来看,智能家电在安静环境下的指标基本能达到T/CAB7700的要求,在噪声环境下的指标较差,这就需要在今后的研究测评工作中紧跟市场需求,对于国内外智能家电产品及时展开跟踪调研,从产品的层面明确其语音技术指标和测评方法,同时推进检验平台的建设,推动相应测试方法标准的落地,保障智能家电行业生态的有序健康发展,服务社会民生。

猜你喜欢

测试点成功率噪音
成功率100%,一颗玻璃珠入水,瓶子终于坐不住了!
成功率超70%!一张冬棚赚40万~50万元,罗氏沼虾今年将有多火?
基于信息熵可信度的测试点选择方法研究
院前急救心肺复苏成功率的影响因素研究
把握主动权,提高油罐火灾扑救成功率
无法逃避的噪音
一种基于机载模块化短波功能设备的BIT设计解析
噪音的小把戏
白噪音的三种用法
浅谈高考英语听力对策