唐成烨 高琪 李曼莉 唐瑞虎

摘 要：通过语音输入与交互，实现机械臂系统功能的语音控制，使普通用户能够通过简单的言语沟通，灵活地使用人工智能来处理一些事务。方便人们使用，使人与机器的沟通更加便捷。通过语音和图像配合的输入与输出，能够使机器更拟人化，使用者能更容易地操作机器。

关键词：图像；语音；联合交互；人工智能；机械臂平台

当前人工智能产品功能相对单一，为了发挥人工智能产品更大的便利性，越来越多的产品变的更加智能化、集成化，目前大多数主流开发商已经不再仅仅专注于某一领域，而是多领域开发，创造更多的价值。本作品就是基于人工智能技术研究语音、动作一体化机械臂，整合来自视觉、语音等多模态信息，利用语音识别与数据经验积累，充分理解、记忆、预测和应对客户的需求，方便人们的生活和工作。

一、机械臂应用群体范围

自动化：行业中大多包括半自动化设备，且需要提供一定的人力资源满足对半自动化设备的调试、使用、维护。人工智能机械臂作为一种灵活的自动化应用设备，能够驱动企业中大多数半自动化设备，并且具有一定的监督功能，能够在设备出现故障时发出警报。人工智能机械臂在企业自动化方面能够为节省大量人力，并且能够拥有更长的工作时间，也保证了工人的人身安全。

智能产品检测：工业生产大制造，质量与形状方面的不合格品能夠通过筛选剔除，但是产品表面是否达到合格，往往需要一定的人力提供帮助。人工智能机械臂在此领域的贡献是，能够自动地检测产品的外观与形状，并把不合格的产品剔除并拍摄上传到服务器用于统计，为企业产品量化提供方便。

助理服务：人工智能机械臂也是面向群体面向大众的，能够在日常生活中为使用者提供一定的便利，例如：物品分类、知识答疑等。经过改进后，完全能够做到在医学领域远程行医。

主要功能与特色：集远程遥控、自主学习并执行动作、手势识别与互动、颜色识别追踪与互动、人脸识别追踪和垃圾智能识别分类等多功能于一体，达到一体多功能效果。通过不断实验和实践积累经验改善并增加功能追求多方面功能集一身的特色。

二、模块详细介绍

视觉的开发方面依赖于摄像模块，图像识别算法上需要cv等模块支持。在开发视觉功能前，为开发过程稳定，推荐选用NVIDIA旗下的图像处理模块。除此之外，还包括但不限于开发板、风扇、舵机模块。图像识别不仅仅是硬件上的组装，主要还是需要在后期的算法上进行研究，特别是当一个项目在对于外界环境的识别要求具有一定的精准度时，就对软件方面的开发要求更高。

在图像处理上，通过卷积神经网络来对开发人员的数据集进行训练。反复训练能够提高对于同样一个模型的角度的准确率。模型训练过程中能够自适应图像的位置，能够对于要识别物体的特征进行分析，同时屏蔽掉一些干扰，识别中通过调整对目标检测的相似度来保证得到的训练结果能够更加精确。模型检测中，在视频输入流下，摄像模块在开发前已经相互兼容。视频流的目标检测是通过对于视频中的每一帧进行单独检测输出到屏幕从而实现视频流检测功能。

三、结语

人工智能机械臂平台针对不同用户的需求模式，完成用户自定义模式，通过物品识别、动作调正等功能，为不同用户提供方便，使机械臂在生活中发挥更加广泛的应用。集远程遥控、自主学习并执行动作、手势识别与互动、颜色识别追踪与互动、人脸识别追踪和垃圾智能识别分类等多功能于一体，达到一体多功能效果。通过语音模块，调用对应的方法，通过语音控制实现人机交互。对于给定的输入图像，系统不仅可以通过语音交互完成控制，系统也可以通过自动识别，对图像进行自动处理。

人工智能机械臂平台的研究针对于大多数产业及一些其他普通工作的智能自动化。项目采用了Python语言设计，内部嵌入式环境为Linux衍生的Ubuntu系统。项目开发之所以采用嵌入式，原因在于该方式可以极大程度上降低项目的开发周期，同时能够在项目开发过程中出现问题时便于调试。