ICLRDec, 2013

对比散度和持续对比散度中的随机梯度估计方差

PDF
TL;DR本文研究了 CD 和 PCD 两种方法在 Restricted Boltzmann Machines 训练中的采样问题，提出关于梯度估计偏差和方差的差异，结果表明 CD 方法的方差比前者更低。
contrastive divergencepersistent contrastive divergencerestricted boltzmann machinesgradient estimatestochastic variance
发现论文，激发创造
  • 用扩散对比散度训练能量模型

    本文提出了一种更加高效的 Diffusion Contrastive Divergence 算法，将其作为 Contrastive Divergence 算法的一种特殊实例，并在合成数据建模、图片去噪和生成等方面进行了实验，结果表明新算法在计算效率和生成性能方面都优于传统算法。

    Jul, 2023

  • 结合变分推断和马尔科夫链蒙特卡洛法的对比散度

    通过 Markov chain Monte Carlo（MCMC）与 varational inference（VI）相结合，并引入 variational contrastive divergence（VCD）作为新的 divergence，可以更好的预测潜在变量模型。

    May, 2019

  • 广义对比散度：借助逆强化学习的能量模型和扩散模型的联合训练

    我们提出了广义对比散度（GCD），这是一种同时训练能量模型（EBM）和采样器的新型客观函数。GCD 通过用可训练的采样器（如扩散模型）取代马尔可夫链蒙特卡罗（MCMC）分布，将对比散度（Hinton, 2002）这种训练 EBM 的著名算法进行泛化。在 GCD 中，EBM 和扩散模型的联合训练被制定为一个极小 - 极大问题，在两个模型都收敛到数据分布时达到平衡。通过 GCD 的极小 - 极大学习与逆强化学习存在有趣的等价性，其中能量对应于负奖励，扩散模型是一种策略，真实数据是专家示范。我们提出了初步但有前途的结果，表明联合训练对 EBM 和扩散模型都有益处。GCD 使得 EBM 训练无需 MCMC，同时提高了扩散模型的样本质量。

    Dec, 2023

  • 主动偏置：通过强调高方差样本训练更准确的神经网络

    本文提出基于样本不确定性轻量级估计的两种改进型随机梯度下降算法：SGD 迭代中正确类别预测概率的方差和与决策阈值的正确类别概率的接近度来重新加权训练样本，实验结果表明我们的方法可靠地提高了各种网络结构的精度，包括残差学习、动量、ADAM、批量标准化、丢弃和蒸馏等其他流行的训练技术所不能达到的额外收益。

    Apr, 2017

  • PCDP-SGD: 通过预先投影提高差分隐私 SGD 的收敛性

    在本文中，我们提出了一个通用的框架 PCDP-SGD，通过在梯度剪裁之前进行投影操作，旨在压缩冗余的梯度范数并保留更关键的顶部梯度分量。此外，我们将 PCDP-SGD 扩展为差分隐私联邦学习（DPFL）的基本组成部分，用于减轻数据异构挑战并实现高效通信。实验结果表明，在计算机视觉任务中，PCDP-SGD 相对于最先进的 DP-SGD 变体实现了更高的准确性。此外，当在本地训练集上保证差分隐私时，PCDP-SGD 优于当前的联邦学习框架。

    Dec, 2023

  • Plackett-Luce 分布的低方差黑盒梯度估计

    本文提出了一种使用控制变量的 Plackett-Luce 分布来进行离散潜在变量学习模型的随机梯度下降的方法， 能够在非可微、离散和连续数据的因果关系学习任务中胜过其他对比松弛优化方法。

    Nov, 2019

  • 曲率敏感的预测编码及其近似拉普拉斯蒙特卡洛实现

    通过将预测编码视为拉普拉斯近似下的变分贝叶斯算法，我们发现其目标函数中排除与之关联的 Hessian 项是其性能不佳的根源。借此，我们提出了三个主要贡献：提出了一个简单的蒙特卡罗估计证据下界，该证据下界依赖于从 Hessian 参数化的变分后验中进行采样；推导出了全 Hessian 矩阵的新型块对角线逼近；介绍了一种将我们的方法与标准预测编码相结合以进一步降低内存复杂度的算法。我们在图像基准数据集上评估了我们的方法训练的模型，并将其与标准预测编码框架进行了对比。我们的方法产生了更高的对数似然值和更好的样本，更好地捕获了数据生成分布的多样性。

    Mar, 2023

  • 使用对比散度构建贝叶斯伪核心集

    本文提出了利用基于能量的分布来建模合成数据后验概率的方法，通过对比度下降损失函数学习合成集合，实现了与数据压缩方法相似的性能，在多个数据集上表现优于以前的 BPC 方法。

    Mar, 2023

  • 利用斥力点过程实现主动小批量抽样

    本文探讨了在随机梯度下降中选择 mini-batch 的方法，证明了使用斥力采样来选择 mini-batch 可以降低梯度估计的方差，提出并研究实现 Poisson Disk 采样的可行性，并通过实验证明了这种方法在模型性能和收敛速度方面都要优于标准随机梯度下降。

    Apr, 2018

  • 带有偏置但一致的梯度估计的随机梯度下降

    本研究针对带图等情景，探讨 Stochastic gradient descent (SGD) 中 consitent estimator 的效用及其相对于 unbiased estimator 的同等收敛性。实验证明，consistent estimator 在 strongly convex, convex, and nonconvex 目标下均表现良好，这一研究有助于进一步提高 SGD 的效率并设计大规模图的高效训练算法。

    Jul, 2018