文/本刊记者 段永利

随着机器人技术的发展，人们一方面希望机器人能够自主适应更加广泛而又复杂的任务，另一方面又希望不同类型机器人有更少的感知限制，这样相互协作的成本会更低。群体智能为解决这一矛盾带来了新思路，已经成为机器人研究领域的新热点。

今年8月初，西北工业大学（以下简称“西工大”）光电与智能研究院教授李学龙及其团队在大模型异构智能体方面取得重大进展，实现了大模型对无人机集群、机器狗、机械臂三种智能体的真机协同控制。该成果展示了大模型在智能体控制方面的能力，也为智能无人系统的研究提供了无限可能。

什么是异构智能体？

异构智能体是采用不同的技术和平台创建的智能体，以及具有不同外观结构、控制单元和性能参数的智能体。在人工智能领域，大模型控制智能体是大势所趋。在此背景下，李学龙团队提出了一种大模型驱动的异构智能体协同控制算法框架，利用大模型调度多种智能体自主协作，实现了“机器人总动员”。

事实上，同构系统中的自组织通常容易理解，然而，自然集群的不同个体在动力学、运动速度、传感器配置、通信功能等方面的巨大差异性和局限性，使得它们在互相协同下完成各种复杂任务的难度加大了不少。因为异构性被认为是赋予群体行为灵活性、新条件适应性及应对外部扰动恢复力的基础。系统需要处理来自完全不同的智能体平台数据，并依据决策分析模块，有效协同无人机、无人车等平台的运动和任务执行控制。

纵观国内外科研工作者对集群协同控制的研究，这一领域目前的发展如火如荼，成果颇丰。如2023年3月，美国斯坦福大学和Google Research的研究者们在一个类似沙盒游戏的场景中成功构建了一个小镇，小镇里有25个生成式智能体，智能体们能通过基于ChatGPT 3.5的大型语言模型生成可信的行为，在小镇中模拟人类的生活方式，自主完成基本的日常活动和社交。虽然那些虚拟居民的活动范围不大，生成的交互类型与事件也比较简单，但人们已经能通过它们看到虚拟人物自主生活、自主交往的雏形。智能体们的种种反馈都是由基本的寻路移动和文字形式给出的，效果还比较简陋，但它展示出的可能性显然难以估量。

而李学龙团队研究成果的创新点在于，硬件智能体的存在，使得大模型具有物理实体，具备与真实物理世界感知交互的能力。同时，借助于大模型，智能体能够获得更强大的感知、决策和执行能力，使其具备更高的自主性和适应性。这项研究能够推动机器人和自动化行业的发展，从而创造出更多的就业机会和经济增长。

李学龙团队研究成果的难点是，其算法框架如何将一个跨场景、跨智能体的复杂任务，通过语义任务解析，拆分成异构智能体协同执行的多个子任务，然后通过无人机集群、机器狗、机械臂的联合控制，共同完成指定任务。

懂所思、知所能、行所意，是大模型驱动多智能体协作的主要能力，即高层语义理解能力、自身技能认知能力、复杂任务执行能力。团队研究成果异构智能体系统利用了异构多智能体的功能互补性，组成跨域协作系统，实现任务协同和信息共享，从本质上提升了面对复杂环境和任务规划的感知能力、执行能力和运行效率。

如何充分发挥大模型的语义理解能力，让无人机、机器狗、机械臂等人造智能体能够根据输入的自然语言分工合作，是智能体在现实场景中执行复杂任务的前提条件。

针对这一问题，李学龙团队利用国产大模型作为语义理解底座，以无人机集群、机器狗、机械臂三种异构智能体作为协同控制平台，设计了融合环境信息与自身状态的语义交互框架，实现了对异构智能体任务理解、硬件控制、协调合作等复杂需求的高层语义交互。

同时，智能体的行为能力易受周围环境、自身机械结构等限制因素的影响。如何在多变的外界环境下让智能体准确地认知当前自身的行为能力，是异构智能体协同的关键环节。

为了让大模型异构智能体实现自身技能认知能力这一目标，团队提出了异构智能体通用中层技能认知算法，实现了异构智能体间精细的硬件协同控制。在此基础上，智能体通过自主环境感知、自身状态建模、协同运动规划，自适应地调整技能执行。

此外，为了完成复杂任务目标，异构智能体协作需要依据子任务间的依赖关系和环境约束，设计安全合理的子任务执行次序和方式。李学龙团队为此特地设计了多智能体闭环反馈的任务执行机制，实现了异构智能体在任务执行层面的自主协同。在任务执行的过程中，智能体向任务分解模块报告子任务执行状态，形成任务分配与执行动态闭环，实现任务目标导向的异构智能体高效协同。

如果说，ChatGPT只是提供聊天和文本生成服务，西工大的这项研究则是提供了智能无人服务的任何可能。举个简单的例子，当你惬意地靠在沙发上说一句“我饿了，去拿点吃的”，智能体就能为你拿来食品；当你生病躺在床上懒得动弹，只需说一句“我病了”，智能体就会把药品和温水递到手边。智能体收到指令后，会智能分析任务执行的路径，通过机器狗、无人机、机械臂协同完成任务。

西北工业大学这一成果是大模型算法和智能体硬件交叉的创新性研究，李学龙团队实现了用更自然、更直观的方式进行多种智能体的控制，降低了人机交互的门槛。同时，也将促进异构智能体之间协作的自主性和流畅度，对人工智能在工业生产、灾难救援等复杂场景下的灵活应用具有重要意义。