基于估计器耦合的强化学习用于稳定纯触觉手内操纵

Nov, 2023

基于估计器耦合的强化学习用于稳定纯触觉手内操纵

Estimator-Coupled Reinforcement Learning for Robust Purely Tactile In-Hand Manipulation

Lennart Röstel, Johannes Pitz, Leon Sievers, Berthold Bäuml

TL;DR通过训练过程中将控制策略与状态估计器耦合，本文解决了将强化学习控制器和状态估计器简单组合的问题，实现了对具有挑战性的纯触觉、目标条件、手部重新定位任务的高性能，同时保持比端到端策略学习更好的可解释性优势。

Abstract

This paper identifies and addresses the problems with naively combining (reinforcement) learning-based controllers and state estimators for robotic in-hand manipulation. Specifically, we tackle the challenging task of purely tactile, goal-conditioned, dextrous in-hand reorientation wit

reinforcement learning state estimation in-hand manipulation tactile sensing sim2real transfer

发现论文，激发创造

学习灵巧的手中操纵

通过强化学习，我们使用模拟环境训练了一种可以使机器人手指进行多指协调、操纵物体并控制重力的新型算法，并且证明该算法可以成功地应用在实物机器人中，为机器人控制领域提供了新的解决方案。

Aug, 2018

DeXtreme: 从模拟到现实的敏捷手持操作转移

本文通过深度强化学习模型，针对转移到真实场景中遇到的困难，提出了学习可以在人形机器人手上进行灵巧操作的策略和一个稳健的姿态估计器。通过在仿真环境中训练的策略，实现了在不同环境下的适应性，并得出了比最佳视觉策略更好的结果，同时在多种硬件和仿真设置中进行了模拟实现，为后续研究提供了方便、低成本的机器人手和摄像机。

Oct, 2022

高效机器人操作技能获取的触觉主动推理增强学习

提出了一种名为触觉主动推理强化学习（Tactile Active Inference Reinforcement Learning，Tactile-AIRL）的机器人操作技能学习新方法，通过整合基于模型的技术和内在好奇心进入强化学习过程，有效提高算法的训练效率和对稀疏奖励的适应能力，并利用视觉触觉传感器提供详细的感知，通过自由能最小化进行想象和规划，证明了该方法在非抓取物体推动任务中取得了显著的高训练效率，使智能体在密集和稀疏奖励任务中优秀表现，几次交互即可超越基准模型，并通过螺纹拧紧任务进行了物理实验，展示了算法的快速学习能力和在实际应用中的潜力。

Nov, 2023

视觉敏捷性：来自深度图像的手内灵巧操纵

该论文介绍了一个基于强化学习的通用物体重新定位控制器，使用廉价深度相机内置单个传感器可以动态地实时重新定位复杂物体，具有在真实世界中重现的能力，且硬件成本低廉，可以使未来的技术民主化。

Nov, 2022

基于物理模拟的残余强化学习和估算手部姿态的熟练性操作

该研究提出了一种基于深度传感器和一种先进的 3D 手姿估计器的模型，使用模型自由的混合强化学习和模仿学习方法训练代理来实现虚拟环境中手 - 物体交互，通过引入物理约束，使得机器人能够完成更高效的手 - 物体操作。

Aug, 2020

自监督适应深度神经网络实现机器人视觉操作

使用深度强化学习隐式地在仿真环境中学习潜在的状态表示，并通过无标签的真实机器人数据将其调整到真实环境中，以实现从像素中执行操作任务。通过序列自监督目标优化对比正向动力学损失，提出了一种更加有效的方法，成功地训练基于视觉的强化学习智能体来堆叠方块。

Oct, 2019

从单个演示到机器人操作的粗到细模仿学习

本文介绍了一种用于视觉模仿学习的简单方法，可以从一个人类演示中学习机器人操作任务，而无需先前了解与对象的交互情况，并且可以通过自监督学习进行训练。在实现过程中，该方法将模仿学习建模为状态估计问题，以目标交互开始时末端执行器的姿态作为状态，在自监督训练过程中让末端执行器的摄像头围绕对象自动移动。最终，在测试时，机器人通过一条线性路径移动到预测的状态，然后简单地重放演示的末端执行器速度，从而获得了一个复杂的交互轨迹，而无需明确学习策略。在常见的 8 个任务上进行的实现结果表明，这种方法可以从单个人类演示中学习出多样的技能，并产生稳定且可解释的控制器。

May, 2021

深度 Q-Learning 机器人臂控制的 3D 模拟

该研究旨在使用深度强化学习算法，通过在模拟环境中训练机器人臂完成定位和抓取方块的任务，进而实现在真实场景下机器人控制的无缝转移，并设计了结构化奖励函数以提高训练效率。

Sep, 2016

精细操作的纯状态模仿学习

研究了在复杂领域中，采用反向动力学模型辅助的状态模仿学习方法，并将其与传统的专家演示方法相比，证明了该方法在不同动力学、形态、物体的模拟学习中表现出了良好的优越性能。

Apr, 2020

基于 GPU 仿真和高质量演示的交互式人类样学习加速

利用 GPU 模拟技术和模仿学习指导策略搜索以使强化学习培训可在高维机器人手表现复杂控制问题的领域中成为可能，最终演示了并行强化学习和模仿学习的互补优势和优秀的验证结果。

Dec, 2022