Mar, 2024

FARPLS: 一种用于帮助人类标注者偏好获取的特征增强机器人轨迹偏好标注系统

HTML
PDF
TL;DR针对任务喜好学习中存在的问题，我们提出了一种功能增强的机器人轨迹偏好标注系统（FARPLS），能够帮助用户更容易地建立偏好标准并注意到呈现轨迹中的相关细节。FARPLS还改善了标注一致性和参与度，有效减轻了偏好获取过程中的挑战，同时不会显著增加认知负荷。
发现论文，激发创造
  • PlanIt：基于众包的学习路径规划方法

    本文提出了一个用于学习机器人路径偏好的方法，通过众包系统PlanIt获取用户反馈，并使用这些反馈学习模型参数，从而在人类环境中生成优化路径，实验结果表明该方法较为有效。

    Jun, 2014

  • 从更丰富的人类指导中学习：通过特征查询增强基于比较的学习

    本文针对机器人学习中的目标函数问题，提出了使用特征查询来增强比较查询的方法，并使用派生的主动查询选择算法，在仿真和真实用户测试中验证了指定特征增强查询比比较查询可获得更丰富的信息，可以更快地提取信息，从而更好地匹配用户行为偏好。

    Feb, 2018

  • LESS is More: 重新思考人类行为的概率模型

    提出一种基于轨迹空间的Boltzmann模型来更好地解释人类行为，并在玩具环境和机器人示范中获得更准确的推断结果。

    Jan, 2020

  • 相对行为属性：填补符号目标规范和从人类偏好中学习奖励之间的差距

    利用相对行为属性的概念，可以从行为片段中优化智能体的行为表现，并以远少于基线方法的反馈次数，实现非专家用户对智能体行为的偏好指定。

    Oct, 2022

  • 通过最优输运进行离线强化学习的零样本偏好学习

    提出一种新颖的零样本基于偏好的强化学习算法，利用源任务的标注偏好数据来推断目标任务的标注数据，然后利用Gromov-Wasserstein距离来对齐源任务和目标任务的轨迹分布，并使用Robust Preference Transformer模型来训练奖励函数和策略模型，其结果表明该方法具有在转移学习环境下学习偏好并能从含噪偏好标签学习奖励函数的能力。

    Jun, 2023

  • 偏好条件下的语言引导抽象

    使用语言模型查询来构建状态抽象，以捕捉机器人学习中人类偏好的变化和指导，通过在模拟实验、用户研究和移动操作任务中的应用来证明其有效性。

    Feb, 2024

  • 借助多模态的大型语言模型增强机器人操作的人工智能反馈

    通过使用多模式语言模型从图像输入中提供自动化的偏好反馈来指导决策的研究，展示了一种能够理解机器人操纵任务中轨迹视频的多模式语言模型 CriticGPT，该模型能够提供分析和偏好反馈，并验证了所生成的偏好标签的有效性，实验评估表明其对新任务具有有效的泛化能力，并在 Meta-World 任务上的性能展示了 CriticGPT 的奖励模型能有效指导策略学习，超越了基于最新的预训练表示模型的奖励。

    Feb, 2024

  • 大型语言模型是否与人类的社会直觉对人机交互保持一致？

    本研究探索了大型语言模型在人机交互领域的表现，对比实际参与者的答案，结果显示GPT-4在选择适当的沟通行为和评判行为可取性、意图和令人惊讶程度等方面表现较好，但在判断人机行为差异方面成绩不佳，同时指出视觉模型无法完全抓住视频刺激的本质，且大型语言模型对不同沟通行为的评分和行为可取性分数较高。

    Mar, 2024

  • 多任务偏好对齐的正则化条件扩散模型

    在这项工作中，我们采用多任务偏好作为统一条件，既适用于单任务又适用于多任务决策，提出了与偏好标签对齐的偏好表示方法。通过引入一个辅助目标来最大化表示和生成的轨迹之间的互信息，改善了轨迹和偏好之间的对齐。在D4RL和Meta-World的大量实验证明，我们的方法在单任务和多任务场景中表现出良好的性能，并展现出与偏好的优越对齐性。

    Apr, 2024

  • 探索人类偏好的文本生成动作

    该论文探讨了在文本到动作生成中的首选学习，指出当前的文本到动作生成仍依赖于需要具备专业知识的数据集和动作捕捉系统；而从人类偏好数据学习则不需要动作捕捉系统，只需没有专业知识的标注人员比较两个生成的动作。我们提供了3,528个由MotionGPT生成的首选对进行注释的数据集，标志着从偏好数据进行学习的首次尝试，并强调在使用偏好数据时的重要设计选择。此外，我们的实验结果表明偏好学习有着极大的潜力来改进当前的文本到动作生成模型。我们的代码和数据集已公开在https://github.com/THU-LYJ-Lab/InstructMotion以进一步促进该领域的研究。

    Apr, 2024