ICMLMay, 2019

ARSM：用于梯度反向传播的增强 - 强化 - 交换 - 合并估计器，适用于分类变量

PDF
TL;DR使用 ARSM 梯度估算器通过加强 - REINFORCE - 交换 - 合并技术解决了通过分类变量进行反向传播的挑战，具有无偏差和低方差的特点。该方法使用 Dirichlet 分布的期望来重新表达梯度，并使用变量交换和共享随机数来获得显著的方差减少，并为离散动作的策略梯度提供 “尝试和自我评论” 的方差减少方法。
发现论文，激发创造
  • ARM: 用于随机二值网络的增广 - 强化 - 合并梯度

    本篇论文提出了一种叫做 ARM 估计量的反向传播算法，用于通过随机二进制层进行梯度反向传播，具有无偏差，低方差和低计算复杂性的特点。ARM 估计器通过变量增广、REINFORCE 和再参数化实现自适应方差缩减，通过公共随机数合并两个期望值。ARM 估计器的方差缩减机制还可归因于增广空间中的对称抽样或使用增广空间中的最优反对称 “自控” 基线函数以及一起使用 REINFORCE 估计器。实验结果表明，ARM 估计器在具有一个或多个随机二进制层的离散潜变量模型的自动编码变分推断和最大似然估计中提供了最先进的性能。

    Jul, 2018

  • DisARM：二元潜变量反义梯度估算器

    介绍了 ARM 估计量无法完全缓解的波动性问题，提出了 DisARM 估计量，通过从增广变量中积分，成功地减少了波动性，同时保持与 ARM 相同的计算代价并在多样本变分边界优化中优于当前的 VIMCO 方法。

    Jun, 2020

  • 增广和缩减：针对大规模分类分布的随机推理

    提出了一种称为 A&R 的新方法，结合了潜变量增强和随机变分推理的思想，用于更高效地处理机器学习中常见的分类问题。在大规模分类问题上，相比现有方法，A&R 提供了更紧的数据边际似然下界，具有更好的预测性能。

    Feb, 2018

  • 通过无放回抽样估计离散随机变量的梯度

    本文提出了一种基于无重复抽样的离散随机变量期望无偏估计方法，将其与 REINFORCE 算法相结合，得到了具有内置控制变量的策略梯度估计器，并应用于多种任务得到了良好的效果。

    Feb, 2020

  • Rao-Blackwell 算法优化直通 Gumbel-Softmax 梯度估计器

    本研究提出了一种对 Gumbel-Softmax estimator 进行 Rao-Blackwellization 的方法，可在不增加函数评估数量的情况下减少方差，从而降低均方误差，并在两种无监督潜变量模型中得到了实证验证。

    Oct, 2020

  • 离散潜变量的联合梯度估计器

    该研究提出了一种基于重要性采样和统计耦合的派生估计器，将分类变量重新参数化作为二进制序列，并进行 Rao-Blackwellization，结果表明该方法在离散潜变量训练中具有最先进的性能。

    Jun, 2021

  • $L_0$-ARM: 基于随机二进制优化的网络稀疏化

    本论文研究了网络稀疏化问题，将其视为 $L_0$ 范数正则化的二元优化问题，并使用了 ARM 算法来解决，在保持基线方法准确性的同时实现了优秀的网络剪枝率。

    Apr, 2019

  • Gumbel-Softmax 分类再参数化

    本论文介绍了一种新的 Gumbel-Softmax 梯度估计器，用于处理类别离散型变量，能够有效地支持半监督学习以及结构化输出预测和无监督生成建模任务，并且可以通过渐进式的方式向分类型分布过渡。

    Nov, 2016

  • REBAR: 离散潜变量模型低方差、无偏梯度估计

    本文通过将控制变量与连续松弛相结合的方式来降低离散潜在变量的高方差梯度估计，并引入了一种在线调整松弛度的修改方法，实现了最先进的方差降低并加速了生成建模任务中的收敛。

    Mar, 2017

  • AR-DAE: 基于无偏神经熵梯度估计的研究

    该论文介绍了一种名为 AR-DAE 的方法，利用其逼近概率密度函数的梯度来估计熵的梯度，并通过该方法在密度估计和连续控制问题中实现了最先进的性能。

    Jun, 2020