- Open-TeleVision: 具有沉浸式主动视觉反馈的远程操作
我们提出了一种沉浸式远程操作系统 Open-TeleVision，用于收集机器人学习演示所必需的在机器人上的数据，通过在一个立体的方式中使操作者主动感知机器人的周围环境，并将操作者的手臂和手部动作映射到机器人上，创造出一种沉浸式的体验，我们 - IRASim：学习交互式真实机器人行为模拟器
提出了一种利用生成模型的交互式真实机器人动作模拟器，通过生成极其逼真的机器人执行给定动作轨迹的视频，验证了其在实验中的有效性，并开源了相关代码和基准测试。
- LLARVA: 视觉动作指令调整增强机器人学习
通过使用纯指令调整的 Large Multimodal Models（LMMs），我们引入了 LLARVA 模型，该模型通过使用结构化提示统一了一系列机器人学习任务、场景和环境，并且利用预测中间的 2D 表达，即 “视觉迹线”，进一步对齐了 - RoboCasa: 为通用机器人实现大规模模拟日常任务
人工智能的近期发展大多受到规模化的推动。在机器人学中，规模化受到获取大规模机器人数据集的限制。我们提倡使用逼真的物理仿真作为扩展环境、任务和数据集以用于机器人学习方法。我们提出了一个名为 RoboCasa 的大规模仿真框架，用于在日常环境中 - 渲染和扩散：将图像空间与动作空间对齐，实现基于扩散的行为克隆
通过使用机器人的三维模型的虚拟渲染物对低级机器人动作和 RGB 观察在图像空间内进行联合观察和行动表示，并使用学习扩散过程计算低级机器人动作，该方法将高维观察和低级机器人动作间的复杂映射整合在一起，增加了样本效率和空间概括的归纳偏差。在仿真 - 听触：面向丰富接触操控的音频 - 视觉预训练
通过使用接触式麦克风作为替代触觉传感器，本文介绍了第一种利用大规模多模态先前训练进行机器人操作的方法，通过从大规模音频 - 视觉先前训练中获取表示来提高机器人操作的性能。
- 交互式机器人学习中联合模态的力量
研究通过探索机器人学习与人类互动，并研究多元输入模式对学习结果的影响，引入了 “元模态” 这一概念，包含了传统偏好和标量反馈机制之外的其他反馈形式，不同于以往仅关注于单个元模态的研究，本研究评估了它们在学习结果上的综合效应，研究发现，虽然单 - 利用过程生成提升太空中自主钉孔装配的学习
通过深度强化学习，在高度并行化的仿真环境中，利用程序生成和域随机化的方法，提出了一种新颖的学习自主针孔装配的方法，以增强自主系统的泛化性和适应性，评估了三种不同的强化学习算法，并展示了智能机器人系统在太空中学习中的潜力。
- 机器人操纵器基于视觉和重新定位动作的 NeRF 物体模型不确定性感知主动学习
该研究介绍了一种方法，使机器人能够迅速学习给定物体的完整三维模型以便在陌生的方向上进行操作，通过优化信息性和可行性来确定下一步动作，并通过重新估计物体姿态来纠正相互作用过程中引入的不对齐，通过实验证明与现有方法相比，在视觉重建质量（PSNR - CaT: 约束作为终止条件的腿式运动强化学习
通过将约束条件作为终止条件，我们提出了一种将约束融入深度强化学习中的新方法，该方法能够在不引入过多复杂性和计算负担的情况下有效地遵守约束条件，并为广泛应用带来了希望。
- BEHAVIOR-1K: 一个以人为本、具体实施的人工智能基准，涵盖 1,000 个日常活动和逼真的模拟
我们提供了 BEHAVIOR-1K，这是一个全面的人类中心机器人仿真基准。BEHAVIOR-1K 包括两个组成部分，通过 “你希望机器人为你做什么？” 的广泛调查结果进行指导和激励。第一个是定义了 1,000 种日常活动，与 50 个场景（ - 三维扩散策略
3D Diffusion Policy (DP3) is a novel visual imitation learning approach that incorporates 3D visual representations to t - 批量主动学习基于人类偏好的奖励函数
通过批次主动的偏好学习方法，本研究开发了一组新的算法，能够有效学习奖励函数并在短时间内生成少量查询，实验结果表明该算法在机器人学习中的多种任务上表现良好。
- 通过观察学习：机器人操作的基于视频的学习方法综述
机器人通过观察大规模人类视频学习可以增强对机器人操纵的泛化性和样本效率。
- ALOHA 2: 强化的低成本双臂远程操作硬件
ALOHA 2 是 ALOHA 的改进版本，通过开源其硬件设计和提供详细教程以及 ALOHA 2 的 MuJoCo 模型，加速大规模双手操作研究的进程。
- 跨领域政策迁移的综合调查和实例研究
通过对现有跨域策略转移方法进行系统审查，我们对每个问题设置的总体见解和设计考虑进行了细致的分类，并对跨域策略转移问题中使用的关键方法进行了高层次讨论。最后，我们总结了当前范式能力之外的开放挑战，并讨论了该领域可能的未来发展方向。
- 偏好条件下的语言引导抽象
使用语言模型查询来构建状态抽象，以捕捉机器人学习中人类偏好的变化和指导，通过在模拟实验、用户研究和移动操作任务中的应用来证明其有效性。
- 点云的重要性：重新思考不同观测空间对机器人学习的影响
通过在 17 个不同的接触丰富的操作任务上进行广泛实验证明，针对机器人学习中的不同观察空间，特别是 RGB、RGB-D 和点云，点云方法在性能上通常超过 RGB 和 RGB-D，不论是从头开始训练还是利用预训练。此外，研究结果表明，点云观察 - AutoRT: 机器人代理大规模编排的体现模型
AutoRT 利用基础模型扩展操作机器人在未知场景中的部署，通过视觉 - 语言模型进行场景理解和定位，并利用大规模语言模型提出多样且新颖的指令，实现对机器人群体的指导数据收集，从而显著扩大机器人学习的数据规模。
- 通用流程作为可扩展机器人学习的基础支持
提出了一种基于预测流的机器人学习方法，能够实现在现实场景中稳定且高效的技能转移，涵盖了现实环境中的多个目标类别，通过利用大规模数据集实现了可扩展的普适机器人学习。