ICLROct, 2022

强化学习是否适用于自然语言处理：自然语言策略优化的基准、基线和构件

PDF
TL;DR本论文探讨了如何将预先训练的大型语言模型与人类偏好相对齐，提出了一个基于强化学习的模型优化库以及一套基于奖励函数的人类偏好的语言生成任务评估基准，并展示了所提出的自然语言策略优化算法相比于以往的策略梯度方法在具有更好的稳定性和性能。
发现论文，激发创造
  • 自然语言强化学习

    强化学习和自然语言表示相结合的自然语言强化学习 (NLRL) 框架在解决样本效率低、解释性差、稀疏监督信号等问题方面表现出了显著的能力。通过在自然语言空间重新定义强化学习的概念和原则，以及结合大型语言模型的先进技术如 GPT-4 的实现方式，NLRL 在标签驱动的 MDPs 上的初步实验证明了该框架的有效性、效率以及可解释性。

    Feb, 2024

  • 基于自然语言启发的强化学习综述

    提出了将自然语言理解与强化学习紧密结合的想法，并对现有技术及未来研究方向进行了调研。

    Jun, 2019

  • 学习生成比您的 LLM 更好的结果

    本研究提出了一种基于强化学习算法的语言模型微调方法，通过与动态黑盒引导语言模型（GPT-3）相互作用，比传统监督学习和 PPO 策略优化算法表现更好，尤其在语义和词汇多样性等方面的指标上有改善。

    Jun, 2023

  • 超越人类偏好：通过 LLMs 探索强化学习轨迹的评估与改进

    基于偏好的强化学习利用大型语言模型生成自动偏好数据，并通过重构奖励函数来优化强化学习训练，在复杂环境中加速收敛并提高效果。

    Jun, 2024

  • 基于强化学习的不确定性下自然语言生成规划

    本研究提出了一种新的基于统计规划的自然语言生成模型，它能够在存在噪声反馈的情况下（例如用户和实现器的当前生成上下文），有效地解决常见的自然语言生成问题，包括信息展示、语句长度和信息传递量等方面的折衷问题。我们采用强化学习方法训练该模型，并将其性能与先前工作中的基准性能进行了比较，结果表明，该模型的性能明显优于所有基线模型。

    Jun, 2016

  • 使用强化学习对语言模型进行私密对齐

    通过强化学习和差分隐私，研究大型语言模型的隐私保护对齐，实验结果验证了该方法在保护隐私的同时提供了竞争力的效果。

    Oct, 2023

  • 大型语言模型用于具体任务的可拓展性策略

    通过大型语言模型 (LLM) 以及强化学习技术，我们开发了一种名为 LLaRP 的方法，使得 LLM 可以作为具有推广性的策略应用于具体视觉任务中，能够忽略任务指令的复杂改写并生成新的最佳行为，在未见过的任务中达到了其他常见的学习基线或零样本 LLM 应用的 1.7 倍成功率，并发布了一个名为 “Language Rearrangement” 的新基准测试数据集，用于研究基于语言、多任务和具体化 AI 问题。

    Oct, 2023

  • 神经机器翻译的强化学习研究

    本文进行了一项系统性研究，比较了训练 NMT 模型的几个重要因素（例如基线奖励，奖励塑造）在强化学习中的作用，并提出了一种新的方法来利用强化学习进一步提高用单语数据训练的 NMT 系统的性能，融合了所有发现，取得了 WMT17 中英翻译任务的最高性能。

    Aug, 2018

  • 具备自然语言目标的逆强化学习

    本文提出了一种新颖的对抗式逆强化学习算法，使用条件化语言政策和奖励函数，以及使用变分目标生成器提高学习策略和奖励函数的泛化性，从而使自然语言变得可用于指导智能体任务的目标， 获得了非常好的性能表现。

    Aug, 2020

  • 使用语言模型进行奖励设计

    本文探讨以自然语言接口为代理奖励函数来简化奖励设计，在强化学习框架下利用大型语言模型对用户目标进行培训，实现智能体与用户目标的对齐，并在 Ultimatum 游戏、矩阵游戏和 DealOrNoDeal 谈判任务中优于通过监督式学习学习的奖励函数训练的 RL 智能体。

    Feb, 2023