ICLRJun, 2019

使用奖励和多语言进行彩票游戏：在强化学习和自然语言处理中使用的彩票

PDF
TL;DR该论文评估了 'lottery ticket' 初始化方法在自然语言处理和强化学习领域中的应用，研究发现该方法可以大大提高深度神经网络的性能和压缩效果。
lottery ticket hypothesisdeep neural networksinitialization strategiesnatural language processingreinforcement learning
发现论文，激发创造
  • 从人类偏好中微调语言模型

    本文介绍了如何利用奖励学习将强化学习应用于自然语言任务中，旨在建立适用于现实世界任务的奖励模型。我们将奖励学习应用于四个自然语言任务（文本连续生成、摘要），取得了不错的结果，但模型可能会利用人类评估者的简单启发式规则。

    Sep, 2019

  • 关于强化学习在神经机器翻译中的缺陷

    本研究通过证明机器翻译中 RL 方法不优化预期奖励的方式，并表明其他方法收敛需要时间过长，以此说明 RL 练习对机器翻译的实际贡献应该限于预先训练的参数接近正确翻译的情况，进一步推测观察到的增益可能与训练信号无关，而是由于分布曲线的形状发生了变化。

    Jul, 2019

  • 自然语言强化学习

    强化学习和自然语言表示相结合的自然语言强化学习 (NLRL) 框架在解决样本效率低、解释性差、稀疏监督信号等问题方面表现出了显著的能力。通过在自然语言空间重新定义强化学习的概念和原则，以及结合大型语言模型的先进技术如 GPT-4 的实现方式，NLRL 在标签驱动的 MDPs 上的初步实验证明了该框架的有效性、效率以及可解释性。

    Feb, 2024

  • 使用语言模型进行奖励设计

    本文探讨以自然语言接口为代理奖励函数来简化奖励设计，在强化学习框架下利用大型语言模型对用户目标进行培训，实现智能体与用户目标的对齐，并在 Ultimatum 游戏、矩阵游戏和 DealOrNoDeal 谈判任务中优于通过监督式学习学习的奖励函数训练的 RL 智能体。

    Feb, 2023

  • 神经机器翻译的强化学习研究

    本文进行了一项系统性研究，比较了训练 NMT 模型的几个重要因素（例如基线奖励，奖励塑造）在强化学习中的作用，并提出了一种新的方法来利用强化学习进一步提高用单语数据训练的 NMT 系统的性能，融合了所有发现，取得了 WMT17 中英翻译任务的最高性能。

    Aug, 2018

  • 针对智能代理人自然语言交流的定期策略优化

    提出一个可以通过联合推理视觉观察和语言输入来学习自然语言指令的新型策略优化算法，该训练范式提供了有效的探索和更好的泛化能力，相比现有的集成模型，我们提出的最佳模型在块世界环境中的执行错误率可以大幅降低超过 50％，同时还包括系统性的研究以展示我们 RL 算法的探索策略。

    Jun, 2018

  • 自奖励语言模型

    通过自我奖励语言模型的迭代 DPO 训练，本研究展示了模型的指示遵循能力及为自身提供高质量奖励的能力的提升，最终的 Llama 2 70B 模型在 AlpacaEval 2.0 排行榜上表现优于许多现有系统，包括 Claude 2、Gemini Pro 和 GPT-4 0613。这项初步研究为模型在两个方向上不断改进的可能性打开了大门。

    Jan, 2024

  • 关于强化学习和分布匹配的论文，用于微调语言模型以避免灾难性遗忘

    研究表明 Reward Maximization 和 Distribution Matching 之间存在理论上的联系，并发现两种方法在提高约束满足度、稳定性和样本效率方面添加基线的好处。

    Jun, 2022

  • 正则化隐藏状态实现学习面向通用化奖励模型的长期记忆模型

    基于规则模型的泛化能力有限，而本研究提出了一种新颖的方法来增强奖励模型对分布偏移的泛化能力，并有效减轻强化学习反馈中的过优化问题。

    Jun, 2024

  • 神经机器翻译中大动作空间的强化学习

    通过减少词汇量和有效减少行动空间，以提高强化学习在神经机器翻译中的表现，取得了显著的 BLEU 分数改善，即平均 1.5 分。

    Oct, 2022