整合人类演示和偏好的学习奖励函数
本文介绍了一种新的算法，批量主动偏好学习，它使用尽可能少的数据样本进行有效的奖励函数学习，并具有较短的查询生成时间。我们为批量主动学习问题引入了几个近似，并为我们的算法的收敛提供了理论保证。通过在模拟中进行各种机器人任务的实验，我们的结果表明我们的批量主动学习算法仅需要少量计算时间短的查询。最后，我们将展示我们的算法在学习人类用户喜好的研究中的应用。
Oct, 2018
本文介绍了一种基于用户反馈的偏好学习方法，利用高斯过程(GP)对奖励函数进行建模，在不增加结构限制并避免数据不足和刚性的问题的情况下，仅通过比较轨迹即可有效学习机器人任务的表达性奖励函数。
May, 2020
本文提出了一种从用户收集多源数据的框架，该框架结合了演示和偏好查询以学习奖励函数，可用于机器人模型中，并且在移动操作器 Fetch 上执行的模拟实验和用户研究验证了我们的方法的优越性和可用性。
Jun, 2020
研究人机交互中智能机器人的学习奖励功能从而完成任务，探讨通过对多种机器人轨迹的比较反馈方式学习机器的奖励功能，包括两两比较、评分、最佳选择等，并提出主动学习技术，以优化从用户反馈中获得的期望信息，进而在自主驾驶模拟、家庭机器人、标准强化学习等领域展示了这种方法的适用性。
Oct, 2022
使用多任务学习来实现基于人类反馈的强化学习，通过将偏好模型训练在以前的任务数据上，我们仅需要很少的查询就可以在Meta-World中训练出具有更好效果的机器人策略模型。
Dec, 2022
提出了一种名为Inverse Preference Learning（IPL）的新算法，用于从离线偏好数据中学习奖励函数，该算法使用Q函数来代替学习得到的奖励函数，具有更高的参数效率和更少的算法超参数和学习网络参数。
May, 2023
通过排列的方式学习奖励函数，本研究提出了一个新的强化学习框架-HERON，通过比较轨迹并使用决策树进行优先级排序来训练基于偏好的奖励模型，从而在处理复杂任务时减少了人工成本同时提高了性能。
Sep, 2023
使用最大熵原理，引入了一种从人类反馈中优化行为的新型算法Contrastive Preference Learning (CPL)，该算法能够在不学习奖励函数的情况下，通过偏好学习最优策略，克服了优化挑战并能应用于任意MDPs环境。
Oct, 2023