- 用高斯粒子映射实现现实世界飞行导航转换的液态网络
通过将高斯投影与四旋翼飞行动态相结合构建模拟器,并使用 Liquid 神经网络训练鲁棒的导航策略,我们展示了单一模拟场景中学习到的导航技能能够直接转移到真实世界,且在分布和物理环境变化剧烈的情况下,性能能够得到保持。
- 基于 3D 特征场的视觉语言导航的模拟转现实迁移
通过模拟传递技术,赋予单目机器人全景遍历感知和全景语义理解,从而将高性能全景视觉 - 语言导航模型顺利应用于常见单目机器人,有效提高了机器人在实际环境中的导航性能。
- 深度强化学习智能体的实景迁移用于在线覆盖路径规划
通过在仿真环境中训练模型,并在高推理频率下部署,我们成功地将最先进的结果从仿真转移到了真实领域,而直接学习则需要花费几个星期的人工交互,即完全不可行。
- 通过在线纠正学习进行模拟到现实策略迁移
通过人机协作的数据驱动方法,TRANSIC 提出了一种能够成功实现从模拟环境到真实世界转换的综合性方法,通过引入人类观察和干预机器人在真实世界中的执行来缩小不同的模拟与现实之间的差距。该方法通过整合从模拟和人类中学习到的策略,在复杂和接触丰 - AnyRotate: 无论重力如何,通过模拟与实际触摸实现手中物体的旋转
利用丰富的触觉反馈信息,通过模拟训练和零样本策略转移的方法,实现了在手物体多轴重力无关的旋转,并且证明了信息丰富的触觉感知对于手持操作的重要性。
- 机器人空气曲棍球:用强化学习进行机器人学习的操纵测试平台
机器人空中曲棍球动态交互的强化学习实验平台,包括从简单的任务到复杂的任务,支持模拟到真实世界的迁移,并使用演示数据评估了行为克隆、离线强化学习和从零开始的强化学习。
- ASID:机器人操作中的系统辨识主动探索
通过利用少量真实世界数据来自动完善模拟模型并规划准确的控制策略,在多个具有挑战性的机器人操作任务中,我们展示了这种模式对识别关节、质量和其他物理参数的有效性,并且说明了只需少量真实世界数据即可进行有效的模拟到真实世界的转换。
- 动态网络桥接的分布式自主群体形成
机器人系统,群体操作,网络桥接,多智能体强化学习和实际应用转化的问题和方法。
- RPMArt:针对关节对象的稳健感知和操纵
通过学习估计接合参数并处理噪点云,我们提出了一个用于关节式物体的稳健感知和操纵的框架,通过局部特征学习和点元组投票的方式,我们的主要贡献是一种稳健的关节网络(RoArtNet),有效地预测关节参数和可负担点,此外,我们引入了一种关节感知的分 - 用可组合对象的 NeRF 来缩小视觉模拟与实际之间的差距
COV-NeRF 是一个用于合成真实世界训练数据的 NeRF 模型,通过从真实图像中提取对象并将其组合到新场景中,生成逼真的渲染图像和多种 2D 和 3D 监督信息,包括深度图、分割掩膜和网格,以快速消除各种感知模式之间的模拟与真实差距。
- 双手扭开盖
利用深度强化学习和模拟到真实世界的转化方法,实现了对多种瓶状物体进行双手旋拧任务的智能机器人操作。
- 从果蝇到机器人:具有动态停歇的小型四轴飞行器的倒立着陆
小型四旋翼飞行器通过模拟得到的控制策略以及领域随机化和系统识别技术实现了成功的倒置降落行为,模拟了在苍蝇中观察到的行为。
- 机器人操作学习和仿真到真实世界转移中的动作空间作用
我们研究了机器人操作学习和从仿真到实际的转移中的行动空间选择。我们定义了评估性能的度量标准,并研究了不同行动空间的新兴特性。我们使用 13 种不同的控制空间,在模拟的抓取和推动任务中训练了超过 250 个强化学习代理。行动空间的选择涵盖了文 - 从模拟到机器人的触觉基连续力控制策略转移
使用触觉传感器,并通过模型无关的深度强化学习方法实现力量控制,能够在仿真环境中进行训练,然后转移到实际机器人上,实现模拟到实际的迁移。
- TWIST: 教师 - 学生世界模型蒸馏用于高效的模拟到真实转化
使用仿真注入的图像观测作为特权信息,通过教师 - 学生模型蒸馏,本文提出了 TWIST 方法,在基于模型的强化学习任务中实现高效的仿真到实际转移,并在仿真和实际机器人任务中表现出更高的样本效率和任务性能。
- 领域随机化通过最大化熵
通过在模拟中自动调节动力学分布而无需真实世界数据,我们提出了 DOmain RAndomization via Entropy MaximizatiON (DORAEMON) 方法,该方法通过增加采样动力学参数的多样性来提高自适应性和泛化能 - 多种四足机器人的单一运动控制策略学习
通过从动物运动控制中获得灵感,我们展示了训练一种有效的单个运动策略,能够控制多样的四足机器人,该策略通过调节中央模式发生器(CPG)的频率和振幅来产生节奏输出,并将其映射到模式形成(PF)层,从而在不同机器人之间仅调整缩放参数以适应步幅高度 - STARS:用于声纳图像中船只残骸分割的零样本 SIM 到真实场景转换
该研究论文针对物体分割的 sim-to-real 转移问题,在没有真实训练样本的情况下解决了零样本 sim-to-real 转移的挑战,通过预测的变形场和异常体积融合,提高了在真实声纳图像上的泛化能力,实现了更有效的零样本 sim-to-r - 跨模态融合与知识传递的鲁棒导航
通过跨模态融合方法和知识迁移框架,提出了一种改善移动机器人的泛化能力并实现从模拟到实际场景的导航技能转移的方法,通过教师 - 学生蒸馏架构,在理想环境中学习判别性表示和接近完美的策略,通过模仿教师的行为和表示,学生能够对来自多噪声模态输入的 - 基于不确定性感知的基础动作转换:用于交通信号控制的模拟到实际转换
本文提出了一种名为 UGAT 的仿真到真实世界转移方法,通过动态转换模拟中的不确定行动来减小转移动态的领域差异,从而将在仿真环境中训练的学习策略转移到真实环境中,显著提高了转移强化学习策略在真实世界中的性能。