Nov, 2022

通过观察人类学习机器人操作的奖励函数

PDF
TL;DR该研究通过使用未标注的人类操作视频来学习机器人操作策略的任务不可知奖励函数，并采用时间对比学习得到的嵌入空间中的距离以及直接时间回归来评分从而实现在各种任务上重复使用一个模型，从而能够在多个操纵任务上加速训练，而无需从机器人环境中获得先验数据，也无需使用特定于任务的人类演示数据。
robotic manipulation policieshuman videosreinforcement learningembedding spacetask-agnostic reward function
发现论文，激发创造
  • 从野外人类视频中学习通用机器人奖励函数

    该研究提出了使用 Domain-agnostic Video Discriminator (DVD) 的方法，通过对分类视频完成相同任务的数据进行学习，实现多任务奖励功能的广义推理。通过将人类数据集与机器人数据相结合，该方法可以在未知环境中实现机器人操作任务的成功执行。

    Mar, 2021

  • 交互自主学习偏好

    研究人机交互中智能机器人的学习奖励功能从而完成任务，探讨通过对多种机器人轨迹的比较反馈方式学习机器的奖励功能，包括两两比较、评分、最佳选择等，并提出主动学习技术，以优化从用户反馈中获得的期望信息，进而在自主驾驶模拟、家庭机器人、标准强化学习等领域展示了这种方法的适用性。

    Oct, 2022

  • 基于模拟运动演示的机器人操纵强化学习

    本文提出了一种新的机器人操作方法，该方法利用了物体本身的运动学习，通过使用物理模拟器中的对象运动策略生成辅助奖励，称为模拟运动演示奖励（SLDRs），该方法可以在不需要人类演示或昂贵成本的情况下，通过强化学习来掌握机器人操作技能，从而实现多物体堆放和非刚性物体操作等任务的更高成功率和更快学习。

    Oct, 2019

  • 自监督适应深度神经网络实现机器人视觉操作

    使用深度强化学习隐式地在仿真环境中学习潜在的状态表示，并通过无标签的真实机器人数据将其调整到真实环境中，以实现从像素中执行操作任务。通过序列自监督目标优化对比正向动力学损失，提出了一种更加有效的方法，成功地训练基于视觉的强化学习智能体来堆叠方块。

    Oct, 2019

  • 基于模型的自监督功能距离视觉规划

    本文介绍了一种使用自监督学习方法和动力学模型和距离函数相结合的视觉目标到达方法，可用于训练通用机器人执行多种任务，该方法不需要手动设计奖励函数，仅使用无标签数据进行学习，并表现出较高的性能。

    Dec, 2020

  • 无监督感知奖励用于模仿学习

    利用深度模型学习中间视觉表示的抽象能力来从少量的演示序列中快速推断知觉奖励函数，以便在真实世界环境中使用强化学习智能体执行任务。

    Dec, 2016

  • 利用未标记的数据进行高效反馈的基于人类偏好的强化学习

    本文提出了两个损失函数，利用未标记的轨迹集参与奖励学习过程，并结构化奖励模型的嵌入空间以反映状态空间与操作距离之间的结构，旨在提高样本效率和奖励恢复能力，该方法在基于机械臂操作的领域上比当前的最优算法 PEBBLE 表现更好。

    Feb, 2023

  • 从离线数据和众包注释中学习语言相关机器人行为

    本文研究了使用自然语言标签并结合机器人交互数据集，来学习规划机器人视觉操作任务的问题，并发现此方法在具有一定自由度的语言规划任务中表现更优秀，成功地完成了使用自然语言描述的物品移动任务。

    Sep, 2021

  • 无需基准状态的强化学习

    提出了一种简单的指示器奖励函数，以解决在连续状态空间中使用强化学习训练策略时无法基于高维观测指定奖励函数的挑战；并提出奖励平衡和奖励过滤两种方法，以进一步加速使用指示器奖励函数的模型的收敛速度，并展示了在无需知道地面实况的情况下从 RGB-D 图像中执行绳索操作等复杂任务的性能表现与使用地面实况的神谕方法的可比性。

    May, 2019

  • 特征扩张奖励学习：重新思考人类输入

    本文提出了一种人与机器人交互的新方式，通过以人类指导机器人从高表达特征的状态到不表达该特征的状态的方法来学习机器人掌握的特征，然后将其集成到奖励函数中，大大降低了样本复杂度并提高了奖励的泛化性能。

    Jun, 2020