ACLApr, 2018

从信用分配到熵正则化：神经序列预测的两个新算法

PDF
TL;DR本论文研究了奖励增强最大似然学习的信用分配问题，并在令牌级的 RAML 和熵正则化强化学习之间建立了理论等价性。在两个基准数据集上，我们展示了所提出的算法分别优于 RAML 和 Actor-Critic，为序列预测提供了新的选择。
credit assignment problemreward augmented maximum likelihood learningentropy regularized reinforcement learningsequence prediction algorithmsactor-critic
发现论文，激发创造
  • MLE 和 RL 在序列预测中的联系

    采用统一的熵正则化策略优化框架，将不同算法统一为特殊实例，从而提供了统一的探索与学习效率的视角。此外，本文还提出了一种动态插值的算法，用于调度序列模型的学习，实验证明其优于传统算法。

    Nov, 2018

  • 神经结构预测的奖励最大似然

    本文提出了一种简单而高效的方法，在最大似然框架中实现任务奖励的直接优化，将其融入到结构化输出预测的问题中，并尝试使用奖励最大化条件分布来优化模型。实验结果表明，该方法在语音识别和机器翻译任务上实现了显著的性能提升。

    Sep, 2016

  • 序列建模：针对情节强化学习的时间性信用分配

    本文介绍了一种新的时间信用分配算法，使用深度神经网络将时间步骤分解为每个步骤，并采用 Transformer 语言模型学习轨迹状态的重要性和依赖性，可大幅提高回路强化学习的学习效率。作者在一组具有连续运动控制任务的 MuJoCo 上进行了广泛的实验，并证明了该算法的有效性。

    May, 2019

  • 选择性信用分配

    通过对选择性赋权的 TD 方法进行统一描述和理解，介绍了如何将赋权应用于基于值的学习和规划算法中，以调节预测和控制问题中的后向信用分配。在这个空间中，我们还确定了一些现有的在线学习算法，它们可以作为特例进行选择性分配信用，并增加了一些可以反事实分配信用的算法，使得信用可以从轨迹和策略之外进行分配。

    Feb, 2022

  • 序列预测的演员 - 评论家算法

    本文介绍了一种使用强化学习中的 Actor-Critic 方法来训练神经网络生成序列的方法，利用 Critic 网络来预测输出 token 的值，使得我们可以直接优化诸如 BLEU 等任务特定分数，实现了在监督学习环境下条件 Critic 网络的优化，从而在德语 - 英语机器翻译任务和一些自然语言生成任务中表现出更好的性能。

    Jul, 2016

  • 可微分的计划采样用于信用分配

    通过对序列到序列模型进行不断松弛极值操作，结合 Bengio 等人的 sample scheduled 采用新的连续可微方法，获得可为贴在所有点求导的梯度，从而在命名实体识别、机器翻译等任务中优于交叉熵训练与 sample scheduled。

    Apr, 2017

  • 序列导师：带有 KL 控制的序列生成模型的保守微调

    本文提出了一种改善递归神经网络 (RNN) 生成序列结构和质量的通用方法，同时保持数据原本学习的信息和样本多样性，首先使用最大似然估计 (MLE) 对 RNN 进行预训练，接着通过强化学习 (RL) 训练另一个 RNN 生成高质量的输出，该方法在生成新的音乐旋律和计算分子结构中均表现出良好效果。

    Nov, 2016

  • 循环神经网络中的序列预测计划抽样

    本文提出课程学习策略，用于训练循环神经网络，以尽量减小实际工作场景中训练和推理之间的差异，如在 MSCOCO 图片注释挑战赛中实测有效。

    Jun, 2015

  • 深度强化学习中的时间信用分配调查

    信用分配问题是强化学习中一个长期存在的挑战，通过对深度强化学习中的时间性信用分配进行研究，提出了一种统一的信用形式，并分析了现有方法在处理延迟效应、位置换位和行动影响不足方面的挑战，还介绍了评估信用分配方法的协议，并建议诊断不同信用分配方法困难来源的方法。该综述为新进入者和研究人员提供了领域概述，为学者在信用分配问题上开展新研究提供了连贯的视角，并提出了未来研究的潜在方向。

    Dec, 2023

  • 分层强化学习中的信用分配

    研究探讨了如何从常规多步强化学习的角度看待分层信用分配，并将其改进为能够提高代理性能的层次算法。

    Mar, 2022