本研究提出了基于贝叶斯公式的 GAN 模型,通过使用随机梯度哈密顿蒙特卡罗方法边缘化生成器和鉴别器网络的权重,在不需要特征匹配或使用小批量区分等标准干预的情况下,实现半监督和无监督的学习效果,避免了模式崩塌的问题,并在多个基准数据集上取得了最佳性能。
May, 2017
提出了对抗后验蒸馏框架,使用生成对抗网络 (GAN) 来压缩随机梯度 Langevin 动力学 (SGLD) 采样,使其在效率和精度方面都具有优势,能够将 Bayes 神经网络 (BNN) 应用于诸如异常检测、主动学习和对抗性攻击防御等细分领域
Jun, 2018
本文针对大数据分析,提出了一种基于 Wasserstein 梯度流的粒子优化框架,用于统一随机梯度 MCMC 和 Stein 变分梯度下降算法,并能够更有效地解决概率测度空间上的挑战。实验结果表明,该框架能够提高贝叶斯抽样的效率和可伸缩性。
May, 2018
用可逆神经网络构建的逆变 Metropolis-Hastings 核函数以保证细致平衡,通过参数化和训练马尔可夫链的转移核函数来实现高效采样和良好的混合,以最小化链的稳态分布与数据的经验分布之间的总变差距离。
Jun, 2024
本文提出了第一个元学习算法,可以自动设计 SG-MCMC 采样器的连续动力学,学习的采样器泛化了 Hamiltonian 动力学,并且在贝叶斯全连接神经网络和贝叶斯循环神经网络任务上进行了验证,表明学习采样器优于通用手动设计的 SG-MCMC 算法,并且可以推广到不同的数据集和更大的架构。
本文提出了一种高效可扩展的神经隐式采样器,它通过利用神经转换将易于采样的潜在向量直接映射到目标样本,而无需迭代过程,从而实现低计算成本生成大批量样本,此外,本文还引入了 KL 训练方法和 Fisher 训练方法来有效地优化了所提出神经隐式采样器以捕获所需的目标分布。
Jun, 2023
基于随机梯度马尔可夫链蒙特卡洛 (SG-MCMC) 的可伸缩贝叶斯因果关系发现框架,无需任何有向无环图 (DAG) 正则化约束,直接从后验中采样有向无环图 (DAG),同时绘制函数参数样本,适用于线性和非线性因果模型。基于合法的等价关系,我们首次应用基于梯度的 MCMC 采样用于因果关系发现。通过对合成数据集和真实世界数据集的实证评估,展示了我们方法与最先进基准模型的有效性。
Jul, 2023
本文提出了一种新的自适应经验贝叶斯方法来实现稀疏深度学习,该方法通过使用一类自适应 spike-and-slab 先验来保证稀疏性,应用该方法在 MNIST 和 Fashion MNIST 数据集上的表现最先进,在 CIFAR10 数据集的压缩性能也是最好的,同时该方法还提高了对抗攻击的抵抗能力。
Oct, 2019
本文提出了一种协同抽样方案,使得生成器和鉴别器通过在生成器的特定层使用梯度更新来优化生成样本,通过实验验证在合成和图像数据集上,这种方法可以在定量和定性上提高生成的样本,提供了 GAN 抽样中的一种新的自由度。
Feb, 2019
深度神经网络的鲁棒性不确定性量化是许多深度学习应用的重要需求,贝叶斯神经网络是建模深度神经网络不确定性的一种有前景的方法,但从神经网络的后验分布中生成样本仍然是一个重大挑战。在本文中,我们展示了这些方法在采样分布时可能存在显著偏差,即使在步长趋近于零且批量大小足够大的情况下。
Mar, 2024