Aug, 2023
生成式人工智能的强化学习综述
Reinforcement Learning for Generative AI: A Survey
Yuanjiang Cao, Lina Yao, Julian McAuley, Quan Z. Sheng
TL;DR深度生成人工智能是机器学习社区中长期关注的重要话题之一，能够影响文本生成和计算机视觉等多个应用领域。最大似然估计是训练生成模型的主要范式，通过减少模型分布和目标分布之间的差异来捕捉和近似目标数据分布。然而，该目标无法满足用户对生成模型的全部要求。增强学习作为一种竞争性选择，能够通过创建新目标以利用新信号来注入新的训练信号，具有灵活性和强大的能力，能够从多个角度遵循人类的归纳偏好，如对抗学习、手工设计规则和学习奖励模型等。因此，增强学习已成为一个热门的研究领域，在模型设计和应用方面拓展了生成人工智能的界限。虽然最近在不同应用领域存在一些调查报告，但本综述旨在提供一个高级别的综述，涵盖了广泛的应用领域，包括严格的分类和对各种模型和应用的充分覆盖。值得一提的是，本综述还调查了快速发展的大规模语言模型领域。通过展示可能解决当前模型限制并扩展生成人工智能前沿的潜在方向，我们总结了本综述。