本文提出了一种基于深度强化学习的半自主控制方法，可帮助外科机器人在手术过程中完成一些简单但重复的操作，用户实验表明此框架可将手术时间缩短 19.1％，行程长度缩短 58.7％。

Apr, 2022

开发了第一个基于强化学习的外科手术机器人环境 ——dVRL，通过 RL 环境演示了在外科手术中实现自主机器人精准和协作问题的最新算法策略。

Mar, 2019

本文介绍了一种基于强化学习的手术自动化算法，使用专家演示数据来提高任务探索效率并克服探索挑战。实验显示该算法在 $10$ 个手术操作任务中取得了显著的提高，并在实际机器人上展示了有效性。

Feb, 2023

基于模拟图像导引的外科手术机器人的个性化自适应方法，通过仿真环境训练强化学习和模仿学习的智能体来执行白内障手术切口阶段的所有任务，将外科医生的动作和喜好融入训练过程，从而实现对个别外科医生独特方法的隐式学习和适应，为外科医生提供更直观和个性化的手术体验，同时确保自主机器人学徒的稳定性能。

Nov, 2023

本文研究人形态智能的应用于外科机器人学习的新交互式模拟平台，以人机交互的形式，以增加更有效的策略学习，通过收集人类示范并模仿动作模式，展示了仿真环境的改进和验证最先进的强化学习算法。

Jan, 2023

本研究使用一种修改自然策略梯度算法的模型，通过模拟学习并训练，成功将自主控制策略从虚拟系统转移到由三个机器人组成的物理系统中，并证明使用多个模型训练可以使学习到的策略更加稳健，从而弥补了系统识别的困难。

Mar, 2018

通过学习演示（LfD）技术实现自动化机器人手术非常具有挑战性，本文介绍了一种从有限数量的次优演示中学习强健奖励函数的方法，并通过强化学习（RL）优化学习到的奖励函数来学习策略。通过在一个物理手术电刀任务上应用我们的方法，我们证明了即使提供的演示是次优的、观察是高维点云时，我们的方法仍然可以表现出色。

Apr, 2024

提出了一种基于动力学数据的新颖技能评估方法，该方法通过将领域知识从已标记的动力学数据转移到未标记的数据，并利用伪标签对未标记数据进行准确的标注来评估机器人辅助手术中的新医生的技能水平。该方法相较于其他现有的方法不需要手动标记或者不需要先前医疗常识。

Apr, 2023

利用逆强化学习 (IRL) 探索了在机械血栓切除 (MT) 血管中实现自主导航的可行性，通过利用专家演示推断奖励函数并采用软演员 - 评论家算法 (soft actor-critic) 进行模型训练，结果表明通过奖励塑造来训练模型可以改进 MT 的可用性和精确性。

Jun, 2024

采用最先进的深度强化学习算法，通过领域随机化，在仿真环境中训练代理程序以解决可变形物体操作问题，并成功将其部署在实际工作中。

Jun, 2018