contrastive divergence | BriefGPT

关键词contrastive divergence

搜索结果 - 8

用扩散对比散度训练能量模型
本文提出了一种更加高效的 Diffusion Contrastive Divergence 算法，将其作为 Contrastive Divergence 算法的一种特殊实例，并在合成数据建模、图片去噪和生成等方面进行了实验，结果表明新算法在
PDFa year ago
不含泪的高斯 - 伯努利受限玻尔兹曼机
我们提出了一种新颖的 Gibbs-Langewin 采样算法和改进的对比散度算法，可用于训练 Gaussian-Bernoulli restricted Boltzmann machines (GRBMs)。实验结果表明，我们的方法可以有效
PDF2 years ago
ICML能量模型对比散度训练的改进
通过改进 CD 训练方法，研究表明难以计算但可以计算出来的梯度对于避免训练不稳定性很重要，并可以使用数据增强和多尺度处理来提高模型的鲁棒性和生成质量，通过在多个基准测试中评估模型架构的稳定性，以及在图像生成，OOD 检测和合成生成等用例中
PDF4 years ago
基于能量的连续学习模型
本文介绍了基于能量的模型（EBMs）作为处理连续学习问题的一种有前途的模型，通过改变底层训练目标以避免对先前学习信息的干扰，提出了简单、高效且性能优良的 EBMs 版本，从多个基准测试中的表现来看，超越了基准方法。此外，本文还提出了基于对比
PDF4 years ago
最小斯坦（Stein）差异估计量
本文提出了一种统一的视角来描述和设计基于最小 Stein 距离的估计器，并使用这种方法来设计新的扩散核 Stein 距离（DKSD）和扩散分数匹配（DSM）估计器，证明了它们的一致性、渐近正常性和鲁棒性，并为它们的高效优化推导了随机黎曼梯度
PDF5 years ago
具单调激活函数的随机神经网络
本研究提出了一种利用高斯噪声从任何光滑单调激活函数创建随机单元的拉普拉斯近似，研究了该随机近似在训练一类与 Bregman 散度密切相关的 Restriced Boltzmann Machines 表现良好。我们称此类为指数族 RBM（Ex
PDF9 years ago
ICLR探究各种动态模式下的最小概率流模型对 RBM 的影响
本论文比较了训练 RBM 模型的两种算法：对比散度 (CD) 和最小概率流 (MPF)。实验结果显示 MPF 算法在不同的 RBM 配置下性能优于 CD 算法。
PDF10 years ago
ICLR对比散度和持续对比散度中的随机梯度估计方差
本文研究了 CD 和 PCD 两种方法在 Restricted Boltzmann Machines 训练中的采样问题，提出关于梯度估计偏差和方差的差异，结果表明 CD 方法的方差比前者更低。
PDF11 years ago