高效机器人操作技能获取的触觉主动推理增强学习

Nov, 2023

高效机器人操作技能获取的触觉主动推理增强学习

Tactile Active Inference Reinforcement Learning for Efficient Robotic Manipulation Skill Acquisition

Zihao Liu, Xing Liu, Yizhai Zhang, Zhengxiong Liu, Panfeng Huang

TL;DR提出了一种名为触觉主动推理强化学习（Tactile Active Inference Reinforcement Learning，Tactile-AIRL）的机器人操作技能学习新方法，通过整合基于模型的技术和内在好奇心进入强化学习过程，有效提高算法的训练效率和对稀疏奖励的适应能力，并利用视觉触觉传感器提供详细的感知，通过自由能最小化进行想象和规划，证明了该方法在非抓取物体推动任务中取得了显著的高训练效率，使智能体在密集和稀疏奖励任务中优秀表现，几次交互即可超越基准模型，并通过螺纹拧紧任务进行了物理实验，展示了算法的快速学习能力和在实际应用中的潜力。

Abstract

robotic manipulation holds the potential to replace humans in the execution of tedious or dangerous tasks. However, control-based approaches are not suitable due to the difficulty of formally describing open-world manipulation in reality, and the inefficiency of existing learning metho

robotic manipulation skill learning tactile active inference reinforcement learning model-based approach non-prehensile objects pushing tasks

发现论文，激发创造

TIAGo RL：移动机器人的模拟强化学习环境与触觉数据

本研究通过深度强化学习技术在机器人领域实现了触觉信息处理、迁移学习、以及力控制等方面的初步成果。

Nov, 2023

看得见，触得到：通过视觉激励学习触觉灵巧度

通过利用视觉奖励来优化敏感性策略的触觉适应 (TAVI) 框架，通过在线强化学习，在多指机器人上取得了可观的成功率，提高了性能。

Sep, 2023

基于图像的熟练操作：通过细化引导实现自主现实世界强化学习

本文提出了一种基于视觉的程序自由编程的方法，利用强化学习实现复杂多指手势下的实物操作，无需手动建模或奖励工程。

Dec, 2022

通过信念空间控制学习主动触觉感知

机器人在开放环境中操作时，会遇到未知的物理特性的新对象，需要通过交互来感知这些特性，并利用生成的世界模型来估计物体的物理参数，并开发一种信息收集模型预测控制器，以自主学习触觉探索策略。我们的研究在虚拟环境中评估了这种方法，发现我们的方法能够以直观的方式高效地收集关于所需特性的信息。最后，我们在真实机器人系统上验证了我们的方法，成功地从零开始学习和执行信息收集策略以估计物体的高度。

Nov, 2023

基于估计器耦合的强化学习用于稳定纯触觉手内操纵

通过训练过程中将控制策略与状态估计器耦合，本文解决了将强化学习控制器和状态估计器简单组合的问题，实现了对具有挑战性的纯触觉、目标条件、手部重新定位任务的高性能，同时保持比端到端策略学习更好的可解释性优势。

Nov, 2023

视觉与触觉的整合：自监督学习的多模态接触任务表示

本文使用自我监督的方式学习了一种紧凑的多模态表示方法，将触觉和视觉反馈结合起来，以改善高维输入控制策略的样本效率，该方法在模拟和实际机器人实验中均表现出鲁棒性和广泛泛化能力。

Oct, 2018

MimicTouch: 学习人类的多模态触觉反馈控制策略

机器人和人工智能领域中，触觉处理的整合越来越关键，特别是在学习如对齿轮和插入等复杂任务时。然而，现有的关于插入任务的触觉方法的研究主要依赖机器人远程操作数据和强化学习，并没有充分利用人类在触觉反馈指导下的控制策略所提供的丰富见解。为了利用人类的感知，与学习源自人类的方法相比，方法学上主要利用视觉反馈，常常忽视人类在完成复杂操纵时固有地使用的宝贵触觉反馈。为填补这一差距，我们引入了一种名为 “MimicTouch” 的新框架，该框架模仿人类的触觉引导控制策略。在这个框架中，我们首先从人类示范者那里收集多模态触觉数据集，将人类的触觉引导控制策略融入到任务完成中。其后的步骤涉及使用多模态传感器数据和重新定位的人类动作通过模仿学习指导机器人。为了进一步缩小人类与机器人之间的差距，我们在物理机器人上采用在线剩余强化学习。通过全面的实验证明，在从人类到机器人的过程中，MimicTouch 的潜在策略通过模仿学习的方式转移是安全和可行的。这项正在进行的工作将为更广泛的触觉引导机器人应用铺平道路。

Oct, 2023

机器人操作的端到端操作能力学习

本研究使用视觉契合技术，通过预测关键点的接触信息，提出了一种端到端的控制策略学习框架，可以实现在不同类型的操纵任务中的泛化。结果显示，我们的算法在成功率上大大优于基线算法，包括基于视觉契合和强化学习方法。

Sep, 2022

通过多模态分类探索进行强化学习的非抓取平面操作

通过多模态探索方法，提出了用于任意起始和目标物体姿态的平面推动强化学习策略，该策略在无模拟故障和观测噪声的情况下具备可靠性，并能应用于具有多个推动装置的任务，同时验证了该策略在物理机器人上的可转移性。

Aug, 2023

从模拟到机器人的触觉基连续力控制策略转移

使用触觉传感器，并通过模型无关的深度强化学习方法实现力量控制，能够在仿真环境中进行训练，然后转移到实际机器人上，实现模拟到实际的迁移。

Nov, 2023