使用自然语言指令进行奖励塑形，在复杂的 Atari 游戏中，比标准强化学习算法成功完成任务的次数平均提高了 60%，并且可以无缝集成到任何标准强化学习算法中。

Mar, 2019

本文介绍了一种称为 Active Question Answering 的基于强化学习的问题回答方法，通过探究黑盒 QA 系统并最大化回答质量来重新构筑问题，该方法在 Jeopardy! 等复杂问题数据集上表现出比其他基准模型更好的性能，并发现了与信息检索技术类似的策略。

May, 2017

该文章分析了一个被训练使用强化学习的代理程序学到的语言，作为 ActiveQA 系统的组成部分。在这个系统中，问题回答被框架化为一项强化学习任务，代理学习重构用户问题以引出最佳答案。研究发现，代理程序并没有学习与语义相关的转换，而是通过学习传统的信息检索技术（如 tf-idf 重新加权和词干化）来适应回答系统的语言。

Jan, 2018

通过自然语言引导，我们对深度强化学习技术进行了改进，实现了对 StarCraft II 等任务的有效训练，并与传统的奖励塑形方法相比，取得了更好的性能表现。

Oct, 2019

提出了一种基于奖励模型的框架，它使得机器学习代理能学习到语言指令， 并通过这些指令执行任务，而不需要通过修改环境奖励函数来实现。这种方法将任务的语义表示和执行分离，在简单的网格世界中，使代理能够学习一系列涉及块的交互和对空间关系的理解的指令， 且无需新的专家数据就可以适应环境的变化。

Jun, 2018

通过强化学习优化针对问题产生特定目标的奖励，如流畅性、相关性和可回答性，以提高生成问题的质量。优化问题特定的奖励通常会在自动评估指标中表现出更好的性能，但是，仅与人类判断相关的奖励（例如相关性）会在实际问题质量上带来真正的改善。只优化可回答性等其他问题会引入模型的错误偏见，导致质量差的问题。

Nov, 2020

LLM-guided Q-learning combines the advantages of large language models and Q-learning without introducing performance bias, providing action-level guidance and converting hallucinations into exploration costs, resulting in improved sampling efficiency and suitability for complex control tasks.

May, 2024

使用多任务学习和强化学习的方法，通过支持事实的多次跳转生成相关问题，相比于单次跳转模型，我们的模型在 HotPotQA 数据集上表现更好（同时在自动评估指标如 BLEU、METEOR 和 ROUGE 以及人工评估指标中都有着更高的质量和覆盖率）。

Apr, 2020

通过将大型语言模型与 MEDIC 框架结合，我们的研究旨在改善强化学习的样本效率，特别针对稀疏奖励领域和随机转换等问题，以提高 PPO 和 A2C 强化学习算法的样本复杂度，并为进一步探索如何利用这些模型增强现有强化学习流程铺平道路。

May, 2024

本文探讨以自然语言接口为代理奖励函数来简化奖励设计，在强化学习框架下利用大型语言模型对用户目标进行培训，实现智能体与用户目标的对齐，并在 Ultimatum 游戏、矩阵游戏和 DealOrNoDeal 谈判任务中优于通过监督式学习学习的奖励函数训练的 RL 智能体。

Feb, 2023