本篇论文提出了一种叫做 ARM 估计量的反向传播算法，用于通过随机二进制层进行梯度反向传播，具有无偏差，低方差和低计算复杂性的特点。ARM 估计器通过变量增广、REINFORCE 和再参数化实现自适应方差缩减，通过公共随机数合并两个期望值。ARM 估计器的方差缩减机制还可归因于增广空间中的对称抽样或使用增广空间中的最优反对称 “自控” 基线函数以及一起使用 REINFORCE 估计器。实验结果表明，ARM 估计器在具有一个或多个随机二进制层的离散潜变量模型的自动编码变分推断和最大似然估计中提供了最先进的性能。

Jul, 2018

使用 ARSM 梯度估算器通过加强 - REINFORCE - 交换 - 合并技术解决了通过分类变量进行反向传播的挑战，具有无偏差和低方差的特点。该方法使用 Dirichlet 分布的期望来重新表达梯度，并使用变量交换和共享随机数来获得显著的方差减少，并为离散动作的策略梯度提供 “尝试和自我评论” 的方差减少方法。

May, 2019

本论文研究了网络稀疏化问题，将其视为 $L_0$ 范数正则化的二元优化问题，并使用了 ARM 算法来解决，在保持基线方法准确性的同时实现了优秀的网络剪枝率。

Apr, 2019

本文通过将控制变量与连续松弛相结合的方式来降低离散潜在变量的高方差梯度估计，并引入了一种在线调整松弛度的修改方法，实现了最先进的方差降低并加速了生成建模任务中的收敛。

Mar, 2017

本论文提出了一种预测采样算法，利用 ARMs 的快速推断能力加速采样，证明其在二元 MNIST 等设置下可显著提高推断调用次数和采样速度。

Feb, 2020

本文比较了 4 种常见的表观 UQ 方法，即 BNN、SWAG、MC dropout 和集成方法，在 ARMED MEDL 模型的统计指标、协变系数和预测置信度方面的能力，实验结果表明，90％子采样的集成方法提供了最佳的全面性能，同时保持 MEDL 使用 ARMED 的基线性能，并为模型拟合，协变系数和预测提供了统计显着性。

Nov, 2022

本文针对任意条件建模中的核心问题，提出了一种针对 Any-Order 自回归模型（AO-ARMs）的新的、有效的训练方法，通过训练一组更小的一元条件分布同时提升性能并保证可计算性，在文本、图像和连续数据等领域中取得了最先进的结果。

May, 2022

该论文介绍了一种名为 AR-DAE 的方法，利用其逼近概率密度函数的梯度来估计熵的梯度，并通过该方法在密度估计和连续控制问题中实现了最先进的性能。

Jun, 2020

本文提出了一种基于无重复抽样的离散随机变量期望无偏估计方法，将其与 REINFORCE 算法相结合，得到了具有内置控制变量的策略梯度估计器，并应用于多种任务得到了良好的效果。

Feb, 2020

该研究提出了一种基于重要性采样和统计耦合的派生估计器，将分类变量重新参数化作为二进制序列，并进行 Rao-Blackwellization，结果表明该方法在离散潜变量训练中具有最先进的性能。

Jun, 2021