批量的基于偏好的奖励函数学习

Oct, 2018

Batch Active Preference-Based Learning of Reward Functions

Erdem Bıyık, Dorsa Sadigh

TL;DR本文介绍了一种新的算法，批量主动偏好学习，它使用尽可能少的数据样本进行有效的奖励函数学习，并具有较短的查询生成时间。我们为批量主动学习问题引入了几个近似，并为我们的算法的收敛提供了理论保证。通过在模拟中进行各种机器人任务的实验，我们的结果表明我们的批量主动学习算法仅需要少量计算时间短的查询。最后，我们将展示我们的算法在学习人类用户喜好的研究中的应用。

Abstract

Data generation and labeling are usually an expensive part of learning for robotics. While active learning methods are commonly used to tackle the former problem, →

active learning preference-based learning robotics reward function efficiency

发现论文，激发创造

批量主动学习基于人类偏好的奖励函数

通过批次主动的偏好学习方法，本研究开发了一组新的算法，能够有效学习奖励函数并在短时间内生成少量查询，实验结果表明该算法在机器人学习中的多种任务上表现良好。

Feb, 2024

基于主动偏好学习的强化学习 APRIL

本文提出了一种基于偏好反馈的强化学习算法，结合了主动排序策略，能够在具有限先验知识（如群体机器人）的情景下，使用专家反馈指导智能体的策略搜索，经过少量专家排序即可获得满意的策略。

Aug, 2012

基于主动偏好的高斯过程回归用于奖励学习

本文介绍了一种基于用户反馈的偏好学习方法，利用高斯过程 (GP) 对奖励函数进行建模，在不增加结构限制并避免数据不足和刚性的问题的情况下，仅通过比较轨迹即可有效学习机器人任务的表达性奖励函数。

May, 2020

一种用于基于偏好奖励学习的泛化获取函数

优化查询方法在学习奖励函数上的表现优于信息增益方法。

Mar, 2024

整合人类演示和偏好的学习奖励函数

该研究提出了 DemPref 框架，结合演示和偏好查询来学习奖励函数，其对标准偏好学习方法具有更高的效率和更好的性能。

Jun, 2019

众包数据的批量强化学习

通过从偏好中学习奖励函数，本文解决了批量强化学习设置中缺乏奖励的问题，并提出了一种新的概率模型来建模标签的可靠性，利用协作的标签来平滑估计。在 Atari 数据集上的评估证明了所提出的模型的有效性，并进行了消融研究以分析所提出的想法的相对重要性。

Nov, 2021

大型语言模型中的深度贝叶斯主动学习偏好建模

通过提出一种新的随机获取策略，该模型可以在多种设置中以比以前的贝叶斯随机获取策略更少的偏好标签的情况下，在人类喜好数据集中获得 33% 至 68% 的偏好标签。

Jun, 2024

从多元人类反馈中学习奖励函数：最优化整合演示和偏好

本文提出了一种从用户收集多源数据的框架，该框架结合了演示和偏好查询以学习奖励函数，可用于机器人模型中，并且在移动操作器 Fetch 上执行的模拟实验和用户研究验证了我们的方法的优越性和可用性。

Jun, 2020

可解释的主动学习用于偏好调查

通过主动学习和基于用户的偏好调取方法，解决在推荐系统中缺乏用户存在或受限于其他用户数据访问的冷启动问题，从而提供个性化推荐。

Sep, 2023

在线偏好中的积极奖励学习

为了实现机器人在不同环境和人类偏好中的适应性，本研究提出了在线稀疏二元偏好查询的方法，通过设计查询和决定何时呈现查询来最大化查询结果的信息价值，从而使得机器人能够快速适应实际应用场景并减轻人类专家的负担，在模拟，人类用户研究和真实机器人实验中，该方法表现优于传统技术并减少人类专家的查询负担。

Feb, 2023