- Robo360：一种三维全方位多材料机器人操作数据集
Robo360 是一个数据集，具有密集的视角覆盖，可实现高质量的 3D 神经表示学习，包含多样的物体和各种物理光学属性，促进各种物体操作和物理世界建模任务的研究。通过使用现有的动态 NeRF 验证我们数据集的有效性，并评估其在学习多视角策略 - SoftMAC：基于预测接触模型的可微软体仿真与关节刚体和服装的双向耦合
通过可微分物理模拟和基于梯度的优化，SoftMAC 框架结合了软体、关节刚体和服装，有效解决了在机器人操纵中集成多种材料的关键难题，并通过实验证明了其在机器人操纵应用中的有效性和准确性。
- 关于将机器人引入家庭的研究
通过引入具有成本效益的多功能家庭机器人系统 Dobb-E，该研究开启了对家庭机器人学习机器人操作的大规模研究，并在各种环境中进行了实验，取得了 81% 的成功率。
- GPT-4V (ision) 用于机器人：来自人类演示的多模态任务规划
我们介绍了一种通过整合人类动作观察来增强通用视觉语言模型 GPT-4V (ision) 的流水线，以促进机器人操纵。该系统分析人类执行任务的视频，并创建包含可支配见解的可执行机器人程序。实验表明，该方法在实现从人类示范中的真实机器人操作方面 - 高效机器人操作技能获取的触觉主动推理增强学习
提出了一种名为触觉主动推理强化学习（Tactile Active Inference Reinforcement Learning，Tactile-AIRL）的机器人操作技能学习新方法，通过整合基于模型的技术和内在好奇心进入强化学习过程，有 - 利用大型语言模型的反馈加速机器人操控的强化学习
通过利用大型语言模型的及时反馈，Lafite-RL（语言代理反馈互动式强化学习）框架使强化学习智能体能够有效地学习机器人任务，实验结果表明，Lafite-RL 智能体在自然语言的简单提示设计下，通过大型语言模型的引导在学习效率和成功率方面优 - 时间步频对不同尺度物体机器人操纵仿真的逼真度影响
增加时间步频率和组件规模可提高机器人操纵模拟的准确性，该研究以两种物体几何形状的预装配部件拾取模拟为基础，探讨如何提高机器人装配过程中的模拟到现实转化。
- H-InDex: 手动信息增强在熟练操纵中的视觉强化学习
我们提出了一种基于人手的视觉表征学习框架，用于解决复杂的巧妙操作任务，并通过强化学习的方式进行训练。
- D$^3$Fields：动态三维描述场用于零样本泛化机器人操作
介绍了 D$^3$Fields 动态三维描述符场，它能够捕捉三维环境的动态性，并对语义特征和实例掩膜进行编码。在零样本机器人操作任务中，通过对不同背景、风格和实例的多视图二维观测进行特征插值，生成的融合描述符场允许灵活的目标规范。通过在现实 - 复杂长时程机器人操作任务的内在语言引导探索
在复杂稀疏环境中，提出使用大型语言模型（LLMs）的内在引导探索（IGE-LLMs）框架，以解决强化学习中的长期操纵任务的问题。结果显示，IGE-LLMs 在探索和长期操纵任务中表现出显著较高的性能，同时具有模块化性和对不同内在缩放参数的鲁 - EDMP：预算引导扩散的运动规划集成
我们提出了 EDMP，即基于代价引导的扩散运动规划集合，旨在结合经典规划与基于深度学习的运动规划的优势，通过在多样的有效运动轨迹集合上进行训练的扩散网络，计算特定场景的代价，如 “碰撞代价”，并引导扩散生成满足场景约束条件的有效轨迹，同时使 - 自动密集奖励函数生成器：强化学习的应用
使用 Text2Reward 框架，基于大规模语言模型生成紧凑环境的密集奖励函数，实现对机器人操纵和运动任务的迭代优化，在 13 个操纵任务中成功率优于或与专家编写的奖励函数相当，对于运动任务，成功率超过 94%，证明在模拟和真实世界中均具 - 学习无标记可变形线性物体的准静态三维模型，用于双手机器人操纵
通过分析多个学习型三维模型来塑造可变形直线物体（DLO）的行为，本文提出了一种基于 Transformer 架构的新模型，并引入了数据增强技术以提高预测性能。在实验证明了这些学习型三维模型在塑造 DLO 任务中的适用性。
- 物理基础的视觉语言模型用于机器人操作
通过在 36.9K 个常见家居物体的数据集 PhysObjects 上针对视觉外观捕捉人类先验知识，我们提出了一种基于物理概念的视觉语言模型（VLM），并将其与基于大语言模型的机器人规划器结合使用，取得了在涉及与物理物体概念推理相关的任务中 - 语言条件下的路径规划
机器人操纵中，接触在核心位置。我们提出了在路径规划中引入接触感知的语言条件路径规划，通过使用单视角图像、语言提示和机器人配置学习了一种碰撞函数，使得能够在不需要手动对象注释、点云数据或真实对象模型的情况下进行特定情况下的路径规划，从而允许与 - 使用 RGB-D 数据的机架内试管姿态估计
准确的机器人操作生物学和医学领域的试管对于解决劳动力短缺和提高工人安全性变得越来越重要。本文提出了一种框架，利用颜色和深度数据来检测和估计试管架中试管的姿态。该方法包括使用 YOLO 目标检测器对提供的图像数据中的试管和试管架进行有效分类和 - 蒸馏特征场在少样本语言引导操纵中的应用
使用自我监督学习和语言监督学习的图像模型，结合精确的 3D 几何知识和丰富的 2D 语义特征，提出一种在机器人操作中填补 2D 到 3D 差距的方法，实现对未知物体的自由文本自我指定和泛化到其他物体类别的能力。
- 基于路标的机器人操作模仿学习
通过自动路径点提取，我们的方法可以将演示过程分解成最小集合的路径点，并与任何行为克隆（BC）算法结合，从而提高模拟环境中的成功率至多 25％，在实际世界的双臂操纵任务中提高 4-28％，将决策时间范围缩小最多 10 倍。
- simPLE: 通过在模拟中学习的视觉触觉方法实现精确物体抓取、定位、重新抓取和放置
传统机器人系统在通用性与精确性之间存在明显的紧张关系。本文探讨了精确和通用的拾取和放置解决方案，基于 simPLE（模拟选择定位和放置）的方法，通过任务感知抓取、视触感知和再抓计划的三个主要组件，成功实现了对 15 个不同形状对象的精确拾取 - 人机合作：通过眼手协同人类演示学习可推广的机器人操作
本研究旨在利用标注不足的人类视频示范来改进基于视觉的机器人操作学习数据，通过引入图像遮蔽的方法，提高眼手相机机器人操作策略的成功率达 58％。