ICLRDec, 2019

上下文类别序列生成的自适应相关蒙特卡罗方法

PDF
TL;DR该研究提出了一种针对分类序列生成的策略梯度估计器 —— 基于相关性蒙特卡洛树的滚动策略梯度估计器，该方法通过生成一组相关的蒙特卡洛树来控制方差，从而有效地降低了梯度方差，同时可以缩短大词汇场景下分类的生成成本。
sequence generation modelsreinforcement learningpolicy gradient estimatormonte carlo rolloutsvariance control
发现论文，激发创造
  • 轨迹控制变量在策略梯度方法中的方差减少应用

    该研究分析控制变量技术在策略梯度方法中应用的属性和缺陷，并提出了一种新的、递归构造的迹线方法，用于在合理假设下进一步降低方差。

    Aug, 2019

  • 准蒙特卡罗变分推断

    本文提出了基于 Quasi-Monte Carlo 采样的方差减少方法，有效地提高了 Monte Carlo gradient estimator 的 MCVI 性能，并通过实验验证了该方法。

    Jul, 2018

  • 自编码序列蒙特卡罗

    利用自动编码序列蒙特卡罗的方法模型和提议学习，通过序贯蒙特卡罗的效率执行结构化概率模型的推理并利用深度神经网络对复杂的条件概率分布进行建模。实现同时学习深度生成模型的模型和提议适应的快速、易于实现和可扩展的方法。

    May, 2017

  • 串联马尔可夫链推理的策略梯度

    该论文提出了一种新的强化学习决策框架，将智能体的行为建模为参数化推理马尔科夫链，利用可行的策略梯度估计进行优化，通过模拟推理马尔科夫链以接近其稳态分布来完成动作选择，并且可以通过适应性地缩短决策困难度来加速推理，该算法在诸如 Mujoco 和 DeepMind Control 等任务中实现了最先进的性能。

    Oct, 2022

  • 数据高效的疟疾控制强化学习

    本文介绍了一种名为 Variance-Bonus Monte Carlo Tree Search (VB-MCTS) 的实用、数据效率高的策略学习方法，它是一种基于模型的强化学习方法，应用高斯过程回归估计转变，提出了一种方差奖励来衡量对世界的不确定性，进一步优化了计划，得到了更有效的探究，综合实验结果表明，在困难的疟疾控制任务上，VB-MCTS 优于现有技术。

    May, 2021

  • 协同塑形的变分生成随机网络

    通过展开变分自动编码器为马尔可夫链并使用启发式方法来训练生成模型，结合强化学习中某些策略搜索的正则化技术，我们在 MNIST 和 TFD 数据集上实验证明了该方法在定量和定性表现上都达到了最先进水平。

    Aug, 2017

  • SeqGAN: 带策略梯度的序列生成对抗网络

    本文提出了一种名为 SeqGAN 的序列生成框架，该框架将数据生成器建模为强化学习中的随机策略，通过直接执行梯度策略更新来绕过生成器差异化问题，并利用蒙特卡罗搜索将 RL 奖励信号从 GAN 鉴别器传递回中间状态动作步骤。在合成数据和现实世界任务上的广泛实验表明，SeqGAN 比强基线模型有了显著的改进。

    Sep, 2016

  • 针对离线策略上下文主动学习任务的最佳基线修正

    将离线学习范式应用于推荐系统和排名应用，提出一个统一的框架，采用等效的均衡基准修正方法来减少估计方差，从而得到方差最优的无偏估计器。

    May, 2024

  • 对比模仿生成时间序列

    一种结合自回归模型和对抗模型的生成框架，通过训练一个本地的过渡策略和一个全局的能量模型来生成时间序列数据，以模拟其连续行为，并在实证分析中验证其性能。

    Nov, 2023

  • 用于折扣和平均奖励 MDP 的方差约束 Actor-Critic 算法

    研究采用演员 - 评论家算法处理马尔可夫决策问题中的风险敏感准则优化问题，并通过协同扰动优化算法及其他方法解决难以优化的问题。 最后，论文在交通信号控制应用中展示了算法的实用性。

    Mar, 2014