Sep, 2023

基于差异性的离散随机梯度估计方法：DBsurf

PDF
TL;DR介绍了一种基于 Reinforce 的离散分布估计方法 DBsurf，通过减少样本与实际分布之间的偏差来提高梯度估计的准确性，达到在不同数据集和采样设置下实现最佳结果的训练变分自动编码器（VAE）及构建具有最新性能的简单高效的神经架构搜索（NAS）算法。
gradientsexpectationdistributional parametersreinforcedbsurf
发现论文，激发创造
  • 最小斯坦（Stein）差异估计量

    本文提出了一种统一的视角来描述和设计基于最小 Stein 距离的估计器，并使用这种方法来设计新的扩散核 Stein 距离（DKSD）和扩散分数匹配（DSM）估计器，证明了它们的一致性、渐近正常性和鲁棒性，并为它们的高效优化推导了随机黎曼梯度下降算法。该方法的主要优势在于其灵活性，使我们能够通过仔细选择 Stein 距离来为特定的模型设计具有理想性质的估计器，并在一些具有挑战性的问题上进行了演示，例如光滑、重尾或轻尾密度的分数匹配。

    Jun, 2019

  • 分布鲁棒学习的无偏梯度估计

    通过分布式鲁棒性学习，我们提出了一种新的方法以解决模型的泛化问题，该方法采用随机梯度下降求解外层最小化问题，并通过多层蒙特卡罗随机化有效地估计内层最大化问题的梯度，并通过得出理论结果确定了梯度估计器的最佳参数化，从而在计算时间和统计方差之间平衡。数值实验证明，我们的 DRL 方法在以往研究中具有显著优势。

    Dec, 2020

  • DPSUR: 通过选择性更新和发布加速差分隐私随机梯度下降

    DPSUR 是基于选择性更新和发布的差分隐私训练框架，通过评估每次迭代的梯度并只使用导致收敛的更新，实现了比 DPSGD 更快的收敛速度，实验结果表明 DPSUR 在收敛速度和模型效用方面明显优于之前的研究成果。

    Nov, 2023

  • 用于离散决策众包模型校准的自动梯度估计

    该研究探讨了用于模拟交通疏散的基于力的模型的校准问题，研究了梯度下降和元启发式方法，在分析中发现梯度估计的精度受到模型特性和参数分布的影响。

    Apr, 2024

  • 使用间隔的直通估计器训练离散深度生成模型

    提出一种灵活的 Gapped Straight-Through (GST) 估计器来降低离散随机变量的梯度估计中的高方差，在 MNIST-VAE 和 ListOps 的两项离散深度生成建模任务中表现优异，比其他策略具有更好的性能。

    Jun, 2022

  • 免费隐私：后验采样和随机梯度 Monte Carlo

    本文提出了一种使用差分隐私技术保证贝叶斯学习个体隐私安全的算法，采样自后验分布得出的估计符合要求，同时随机梯度下降方法也可以达到类似效果，是较好的解决贝叶斯学习隐私问题的方法。

    Feb, 2015

  • 离散分布的斯坦变分推断

    该研究提出了一种将离散分布转换为等效分段连续分布的方法，然后使用无梯度的 SVGD 进行高效的近似推理，并证明了该方法在离散图形模型的各种测试中优于传统的算法，同时优于其他广泛使用的集成方法，特别是在学习 CIFAR-10 数据集上的二值化 AlexNet 的情况下。

    Mar, 2020

  • 使用随机计算图估算梯度

    通过引入随机计算图的形式化方法，该论文描述了如何自动推导损失函数梯度的无偏估计量，提出了一种计算梯度估计器的算法，从而统一了以前工作中推导的估算器和其中的方差减少技术，该算法使得研究人员可以开发涉及随机和确定性操作相结合的复杂模型，包括注意力、记忆和控制动作。

    Jun, 2015

  • 对比散度和持续对比散度中的随机梯度估计方差

    本文研究了 CD 和 PCD 两种方法在 Restricted Boltzmann Machines 训练中的采样问题，提出关于梯度估计偏差和方差的差异，结果表明 CD 方法的方差比前者更低。

    Dec, 2013

  • 随机特征斯坦差异

    提出了一种新的质量度量方法 - 特征 Stein 差异度量（PhiSD），可通过重要抽样方法进行便宜的近线性逼近，适用于近似后验推断和适配度检验。在实验证明，在速度方面比平方时间差异度量 (KSD) 更快，可在计算中进行价值代替。

    Jun, 2018