Oct, 2023

通过人类反馈实现质量多样性

PDF
TL;DRQuality Diversity through Human Feedback (QDHF) employs human feedback to expand the applicability of Quality Diversity (QD) algorithms, enhancing diversity in optimization for complex tasks.
reinforcement learninghuman feedbackquality diversitydiversity metricsoptimization
发现论文，激发创造
  • 通过人类反馈实现多样性

    通过人类反馈学习行为空间，结合适当的距离度量，提出了一种名为 DivHF 的通用方法，该方法能更好地符合人类要求，并在人类偏好下得到更多样化的解决方案。

    Oct, 2023

  • 通过 AI 反馈实现质量与多样性

    通过 AI 反馈引导的 QDAIF 与非 QD 控制组相比，在创意写作领域覆盖更大范围，生成高质量样本；同时，QDAIF 生成的创意文本经人工评估验证与人类评估具有合理的一致性，突显了 AI 反馈在引导开放式创意搜索方面的潜力。

    Oct, 2023

  • 通过无重置多样性优化实现自主步行学习

    本研究提出了 Reset-Free Quality-Diversity optimization (RF-QD) 算法来实现具有多样性和高性能技能的行为副本的自主学习，我们在 Dynamics-Aware Quality-Diversity (DA-QD) 基础上引入了一种行为选择策略，并演示了通过训练自我重置的步态行走任务，可以高效学习到具有多样性和一定安全性的行走技能。

    Apr, 2022

  • 多方可证明强化学习与多样化人工反馈

    多方强化学习与人类反馈是新兴的方法，以使模型符合人类的偏好。本文通过理论研究，探讨了多个个体的多样化偏好的多方强化学习方法，并展示传统方法不适用的情况。文章提出了引入元学习以及采用不同的社会福利函数来聚合多方偏好的方式，其中包括纳什、功利主义和 Leximin 福利函数。同时，文章还考虑了无奖励设置，并给出了基于离线偏好数据的 von Neumann Winner 的悲观变体。研究结果表明，多方强化学习与传统单方强化学习在样本复杂度上存在差异，并凸显了多方强化学习的统计复杂性要求。

    Mar, 2024

  • 如何在强化学习中高效地查询人类反馈？

    研究提出了一种有效的轨迹对采样方法，用于探索隐藏的奖励函数，以便在收集人类反馈之前准确地学习，比现有文献更少地需要人类反馈量来学习基于偏好模型的最优策略，可以考虑线性和低秩 MDP

    May, 2023

  • 使用基于模型的品质多样性和梯度的高效探索

    本文介绍了一种基于模型的 Quality-Diversity 算法，该算法通过对所有群体成员进行有效的探索和利用想象中的扰动来同时维持性能和高效的多样性，从而提高人群算法在具有欺骗性奖励的任务中的样本效率和解决方案质量。

    Nov, 2022

  • 强化学习与人类反馈调查

    深入探讨人机交互技术中基于人类反馈的强化学习（RLHF）的基本原理、应用及其研究趋势。

    Dec, 2023

  • 通过质量多样性实现程序化内容生成

    Quality-diversity algorithms, with explicit behavior metrics searching for a set of high-quality and diverse solutions, provide new opportunities for AI game-playing and procedural content generation, enabling creative human-AI interactions and adaptivity.

    Jul, 2019

  • 通过个性化和偏好聚合来自异构反馈的基于原则的 RLHF

    利用个性化和聚合两个框架解决存在异质人类反馈的增强学习中的问题并确保较高的样本效率。

    Apr, 2024

  • RLHF-Blender: 一个可配置的学习多样人类反馈的交互界面

    使用来自不同来源的人类反馈學习强化学习模型，RLHF-Blender 是一个可配置的，互动式界面，帮助研究人员系统地研究人类反馈的属性和质量，以及人类因素对其有效性的影响。

    Aug, 2023