铜谷贤治：用于心智模拟的神经环路

强化学习算法的开发。铜谷贤治教授团队通过研究神经系统的强化学习功能环路，开发更为高效的强化学习算法。运动学习功能的强化学习方法包含诸多重要的计算部分，例如从过去状态或动作中评估当前状态，通过奖励预测状态或动作、动作选择以及预测状态的更新。强化学习的对象可以是人、动物或机器人，或者是与环境交互的软件。团队致力于开发针对对象的高效算法，并探究大脑的工作机制。

强化学习构架对比。目前主要有两类强化学习构架，一种是基于模型的，一种是无模型的。无模型构架相对简单，但是学习速度慢，需要长时间的重复试验；基于模型的学习构架能够在当前状态下运行特定动作，对于感觉输入的噪声水平不敏感，并可以先于合适动作预估状态。因此，对象能够在深思熟虑的情况下执行动作，这使得模型具有灵活的适应性。但是，基于模型的构架需要更加复杂的内部运算。模型与非模型如何选择，在工程领域和神经科学领域都是十分有趣的研究课题。采用实现训练的基于模型的策略进行递进式模拟，在数据层面是更为有效的，对于感觉输入的噪声较强或输入延迟、缺失的情况有很大帮助。

大脑心智模拟功能机制的理解。在研究实现心智模拟的过程中，根据我们学习的构架，不同脑区倾向于具备不同分工。团队与其他研究者合作，研究皮层环路在心智生成过程中的作用机制。……