Autonomous ultrasound scanning method based on improved multimodal information fusion and deep reinforcement learning

Xu Jiakaia，Lu Q₁^υ† ，Li Xiangyunb，Li Kanga，c （a.ColegefclcnUeibelCte pital，Sichuan University，Chengdu 610o65，China）

Abstract：Toaddressthe isses of low training accuracy，prolonged trainingtime，and lowsuccess rateof scanning tasks in ultrasound scanning basedondeep reinforcementlearning（DRL），this paper proposed an autonomous ultrasound scaning method basedonimproved multimodalinformation fusionandDRL.Firstly，the methodintegratedultrasound images，dualview probe manipulation images，and 6D tactile feedback to provide comprehensive multimodal perception.To accurately capturespatiotemporal informationinmultimodaldataandachieveeficientfeaturefusion，thispaperdesignedamultimodal featureextractionandfusionmodulebasedontheself-atentionmechanism（SA）.Secondly，itformulatedthe6Dposedecisionmaking task fortherobotasaDRLproblem.Andthis paperdesignedahybridrewardfunction toemulatetoprofesionalultrasonographers.Lastly，to addresslocaloptima andslowconvergence inDRL training，this paper introduced the DSAC-PERDP algorithm.Tests inreal environmentsdemonstrate thattheproposed method improves scanning accuracy，task successrate， and training speed by 49.8% ， 13.4% and 260.0% ，respectively，compared to baseline models.Moreover，the method maintainsrobust performanceunder interferenceconditions.Thesefindingsvalidatethattheproposedapproach notonlysignificantlyimprovesscanningaccuracy，task succssrate，and trainingefciencybutalsoexhibitsnotableanti-interferencecapabilities.

Key words：autonomous ultrasound scanning；deepreinforcement learning（DRL）；multimodal；self-atention mechanism; DSAC-PERDP algorithm

0 引言

医学超声因其非侵入性、安全性和成本效益而成为广泛应用的诊断工具[1，2]，常用于肾脏、肝脏、心脏病学、产科等多个医学领域[3，4]。然而，超声检查的质量在很大程度上依赖于操作员的技能和经验，这使得超声检查在资源有限地区尤为困难[5]。长时间的超声检查工作增加了与工作相关的受伤风险并可能导致诊断错误[6]。为克服这些问题，研究人员致力于研发自动化的超声扫描机器人系统[7]，旨在通过普及标准化超声检查，减少对高技能操作人员的依赖，尤其是在医疗资源匮乏或需要非接触式医疗的场景中[8]

自主超声扫描机器人主要采用基于机器学习的方法]，包括模仿学习（imitation learning，IL）和深度强化学习（deepreinforcementlearning，DRL）。IL使得机器人系统从专家演示数据学习以获得执行特定任务的能力。例如，文献［10]提出了一种用于徒手超声操作的多模态表示和技能适应框架，采用离线训练和在线适应的双向学习过程来进行自主超声扫描任务。尽管IL在超声导航任务中展现了一定的应用潜力，但其对大量高质量专家演示数据的依赖，以及在动态环境中有限的泛化能力，限制了其在实际临床场景中的普适性[11]。DRL结合深度学习的特征提取能力与强化学习的决策能力，使机器人能够在复杂环境中自主优化其行动策略[12-14]，成为超声导航任务研究的重要方向之—[15]。例如，文献[16]在模拟环境中首次验证了DRL能用于自主引导超声探头进行超声图像采集的可行性。Li等人[17]首次提出了基于实时的超声图像反馈和深度Q学习（deepQ-network，DQN）的DRL 模型控制超声探头的6D姿态将探头导航至标准扫描平面。……