具有最大平均差异正则化的贝叶斯神经网络

Mar, 2020

具有最大平均差异正则化的贝叶斯神经网络

Bayesian Neural Networks With Maximum Mean Discrepancy Regularization

Jary Pomponi, Simone Scardapane, Aurelio Uncini

TL;DR本文提出了一种基于最大均值差异的理解下界（ELBO）的变体，该下界替代了 KL 散度，取得了比现有技术更高的多个基准测试结果，包括多个图像分类任务。此外，本文还提出了一种新的估算给定预测的不确定性的公式，并表明该公式对抗攻击和输入噪声具有更强的健壮性。

Abstract

bayesian neural networks (BNNs) are trained to optimize an entire distribution over their weights instead of a single set, having significant advantages in terms of, e.g., interpretability, multi-task learning, and calibration. Because of the intractability of the resulting optimizatio

bayesian neural networks maximum mean discrepancy variational inference image classification uncertainty estimation

发现论文，激发创造

通过最大均值差异优化训练生成神经网络

通过最大均值差异的无偏估计作为双样本检验统计量，将深度神经网络视为生成器网络，将学习过程看做最小化二元检验统计量，通过实证比较及理论边界分析，探究了生成对抗网络框架及无参数核双样本检验框架的异同。

May, 2015

基于最大均值差异（MMD）统计量的集中不等式及其在生成模型中的应用

我们提出了一种均匀集中不等式，用于一类基于最大均值差异（MMD）的估计器的理论分析，特别是在生成模型中的应用。我们将该结果应用于最小 MMD 估计器和 MMD GAN 的泛化误差界的推导

May, 2024

条件生成的矩匹配网络

本研究提出了条件生成矩匹配网络 (CGMMN)，基于条件最大均值差距 (CMMD) 标准，学习给定一些输入变量的条件分布，学习采用随机梯度下降，梯度通过反向传播计算。我们在广泛的任务上评估了 CGMMN，包括预测建模、上下文生成和贝叶斯暗知识，这些任务通过学习相对较小的 CGMMN 学生网络从贝叶斯模型中提炼知识。结果表明，在所有任务中都具有竞争性的性能。

Jun, 2016

最大均值差异下的生成模型统计推断

本文介绍了一种基于最小距离估计的统计模型，即对于可能性不易计算的生成模型，通过指定核函数，作为一个度量距离的最大均值差异（MMD）可以用来进行最小距离估计，同时结合自然梯度下降算法的应用使这种估计更加高效和鲁棒。

Jun, 2019

通过优化的最大均值差异实现生成模型和模型评估

本研究提出了一种基于最大均值差异（MMD）的统计检验来最大化两个概率分布样本的表示和区分度的优化方法，并将其应用于生成对抗网络（GAN）的无监督学习设置中，在其中，MMD 可以用作两种角色：一是直接对样本或样本特征作为鉴别器使用，二是通过将模型样本与参考数据集比较来评估生成模型的性能。

Nov, 2016

解密 MMD GANs

通过使用最大均值差异（MMD）作为批判家来研究生成对抗网络的训练和性能，我们澄清了最近的工作中提出的 GAN 损失函数中的偏差问题，并讨论了 MMD 批判家的内核选择问题，提出了改进的 GAN 收敛度量，核启动距离，并展示如何在 GAN 训练期间使用它动态调整学习速率。

Jan, 2018

领域自适应神经网络用于物体识别

该研究提出了一个结合最大平均差异（Maximum Mean Discrepancy）的正则化项和去噪自编码器预训练的神经网络模型，以解决目标识别中的领域自适应问题，实验表明，该模型在源域和目标域之间建立的潜在空间显著降低了分布不匹配问题，并且在原始像素和 SURF 特征数据集上均比同类别基准模型表现更优秀。

Sep, 2014

使用最大平均差异进行校准可靠回归

本文提出了使用最大平均偏差最小化核嵌入度量的校准回归方法，证明该方法在样本量足够大时其校准误差渐近收敛于零，实验结果表明该方法能够产生良好校准和尖锐的预测区间，优于相关现有技术。

Jun, 2020

利用最大均值差异质心在强化学习中传播价值函数的不确定性

基于不确定性的价值函数计算能够提升强化学习中的探索性能。本文引入了最大均值差异 Q-Learning (MMD-QL) 来改进 Wasserstein Q-Learning (WQL) 以在时序差分更新中传播不确定性。MMD-QL 利用 MMD 质心来实现这一目的，因为 MMD 提供了比 Wasserstein 距离更紧密的概率测度接近估计。首先，我们建立了在平均损失度量下 MMD-QL 在 MDP (PAC-MDP) 中几乎是正确的。关于累积奖励，在表格环境下进行的实验表明，MMD-QL 优于 WQL 和其他算法。其次，我们将深度网络引入 MMD-QL，创建了 MMD Q-Network (MMD-QN)。在作出合理假设的前提下，我们分析了 MMD-QN 的收敛速度使用函数逼近技术。在具有挑战性的 Atari 游戏上的实证结果表明，MMD-QN 相对于基准深度强化学习算法的表现非常好，突出了其在处理大型状态 - 动作空间上的有效性。

Mar, 2024

最大熵判别马尔可夫网络

本研究提出了一种新的最大熵判别马尔科夫网络 (MaxEnDNet) 框架，该框架将最大边界结构化学习与贝叶斯估计相结合，并扩展了它们的优点，基于生成模型的贝叶斯式学习与基于判别模型的结构化最大边界学习，取得了超越结构化输入 / 输出学习的一系列竞争方法的成功结果。

Jan, 2009