Jan, 2024

用于提升机器人辅助手术自主性的通用基础模型

PDF
TL;DR通过开发多模态、多任务、视觉 - 语言 - 行为模型，本文提出一条路径，以增加机器人辅助手术中机器人的自治性，最终我们认为，机器人辅助手术能够从通用模型中获益，并提供三个指导性行动以增加机器人辅助手术的自治性。
end-to-end robot learninghigh-capacity modelssurgical robot systemsmulti-modal vision-language-action modelrobot-assisted surgery
发现论文，激发创造
  • 基于基础模型的通用机器人：调查与元分析

    建立具有普适性的通用机器人系统一直是人工智能领域的长期目标。本研究调查了如何将自然语言处理（NLP）和计算机视觉（CV）领域的基础模型应用于机器人领域，并探讨了构建面向机器人的基础模型的可能形式，以及使用基础模型实现通用机器人系统所面临的主要挑战和未来方向。

    Dec, 2023

  • 通向通用型机器人的基础模型：通过自动化任务和场景生成实现大规模的多样化技能学习

    该文呈现了一种用于采矿最新大规模基础模型中的知识的具体想法，其目的是将低级技能学习扩展至规模化，从而实现授予通才机器人的基础模型，并享有在各种现实场景中执行多种任务的能力。

    May, 2023

  • 铺路把握一切：将基础模型转移，用于通用拾放机器人

    本文提出了一种基于语言根据分割掩模的新型范例，来应对日常情况下一系列的抓取和放置机器人操作任务，通过将从掩模中传达的精确语义和几何形状与我们的多视点策略模型相结合，使我们的方法能够感知准确的物体姿态并实现样本高效学习。

    Jun, 2023

  • RT-1：用于实际规模控制的机器人变压器

    通过开放式训练和高容量结构的机器学习模型，结合具有各种数据多样性的大规模数据集，以实现机器人模型的泛化能力。

    Dec, 2022

  • 通用外科握取的世界模型

    智能视觉控制系统、外科机器人、基于世界模型的深度强化学习框架、视觉运动策略以及机器人夹爪是这篇论文的关键词，该论文提出了一种用于外科手术的像素级视觉运动策略学习框架 “Grasp Anything for Surgery”（GAS），并在模拟和实际机器人中进行了广泛的评估。

    May, 2024

  • RoboNet：大规模多机器人学习

    本文提出 RoboNet，一个用于共享机器人经验的开放数据库，结合视觉先见性和监督逆模型两种学习算法，用于视觉引导的机器人操作的泛化模型学习，其预训练和微调性能超过使用 4 倍至 20 倍更多数据的机器人特定培训方法。

    Oct, 2019

  • 深度视觉预见性规划机器人动作

    本论文提出一种基于无标注训练数据的方法，结合深度动作条件视频预测模型和模型预测控制，使真实机器人能够进行非抓取操作，比如推动物体，并且可以处理训练过程中没有出现过的新物体。

    Oct, 2016

  • 面向通用机器人学习的深度目标中心表示

    本文提出了一种方法来解决复杂开放环境下机器人操作的问题，该方法基于先前训练的通用视觉模型作为感知系统的对象先验，并引入了一个基于对象的注意机制来确定相关对象，通过少数轨迹或演示将这些对象纳入学习策略，使用强化学习可以学习多种操作任务。

    Aug, 2017

  • 教会我学习的方法：一种面向用户中心的神经符号学习对于机器人手术系统的综述

    近期机器学习模型的进展使得机器人能够在感知非符号化级别上识别物体 (例如，通过传感器融合和自然语言理解)。然而，这些主要的黑盒学习模型仍然缺乏解释性和可转移性，需要大量数据和计算需求。一种替代方案是通过混合神经符号学习方法和专家反馈 (即人在循环学习) 来教授机器人感知非符号化和概念符号化两个级别。本研究提出了这种以用户为中心的混合学习范式的概念，重点关注外科机器人手术情境。虽然最近的研究主要关注非机器人和一些通用机器人领域的混合学习，但鲜有研究专注于外科机器人。我们调查了相关研究，同时着重人在循环外科机器人系统。这项评估强调了自主外科机器人的最突出解决方案，以及外科医生在与这些系统交互时面临的挑战。最后，我们构想了通过来自专家外科医生的隐式和显式反馈进行在线学徒式学习来解决这些挑战的可能途径。

    Jul, 2023

  • 普通外科视觉变换器：用于普通外科的视频预训练基础模型

    通过开源最大的外科手术视频数据集，提出了视觉预训练技术和 GSViT 算法，向外科手术应用提供实时的视频处理和改进性能。

    Mar, 2024