Nov, 2015

生成模型中模型选择的相对相似性测试

PDF
TL;DR该研究提出了一种基于最大平均差异度量方法的概率生成模型选择统计测试，在对深度生成模型进行实验时，该测试能够对不同参数和训练设置下的模型性能进行有意义的排名。
probabilistic generative modelsmodel selectionmaximum mean discrepanciesdeep generative modelsmodel performance
发现论文，激发创造
  • 通过优化的最大均值差异实现生成模型和模型评估

    本研究提出了一种基于最大均值差异（MMD）的统计检验来最大化两个概率分布样本的表示和区分度的优化方法，并将其应用于生成对抗网络（GAN）的无监督学习设置中，在其中，MMD 可以用作两种角色：一是直接对样本或样本特征作为鉴别器使用，二是通过将模型样本与参考数据集比较来评估生成模型的性能。

    Nov, 2016

  • 可解释分布比较中的最大均值差异的变量选择

    这篇研究论文研究了在两样本检验中的变量选择问题，基于最大平均差异（MMD）的两样本检验的能力，通过优化自适应相关检测（ARD）权重来确定引起两个分布差异的变量，提出了考虑稀疏正则化的两种方法以解决选择适当正则化参数的问题，并通过与基线方法的系统比较验证了所提出方法的有效性，在高维交通仿真数据的探索性分析中展示了所提方法的实用性，同时也提供了变量选择在两样本检验中的严格定义的初步理论分析。

    Nov, 2023

  • 最大均值差异下的生成模型统计推断

    本文介绍了一种基于最小距离估计的统计模型，即对于可能性不易计算的生成模型，通过指定核函数，作为一个度量距离的最大均值差异（MMD）可以用来进行最小距离估计，同时结合自然梯度下降算法的应用使这种估计更加高效和鲁棒。

    Jun, 2019

  • 通过最大均值差异优化训练生成神经网络

    通过最大均值差异的无偏估计作为双样本检验统计量，将深度神经网络视为生成器网络，将学习过程看做最小化二元检验统计量，通过实证比较及理论边界分析，探究了生成对抗网络框架及无参数核双样本检验框架的异同。

    May, 2015

  • 基于最大均值差异（MMD）统计量的集中不等式及其在生成模型中的应用

    我们提出了一种均匀集中不等式，用于一类基于最大均值差异（MMD）的估计器的理论分析，特别是在生成模型中的应用。我们将该结果应用于最小 MMD 估计器和 MMD GAN 的泛化误差界的推导

    May, 2024

  • 图生成模型的评估指标：问题、陷阱和实用解决方案

    本文介绍了如何评估和比较图生成模型，特别是着重介绍了最大均值差异（MMD）在图生成模型比较中的应用。通过对人为生成的扰动图以及最近提出的图生成模型的行为全面分析，我们提出了适当的纠正措施并为研究人员提供了一些实用建议。

    Jun, 2021

  • 生成对抗网络评估指标的实证研究

    本文研究了生成对抗网络（GAN）的评估方法，发现基于核最大均值差（MMD）和最近邻（1-NN）等指标，可以较好地满足评估需要，同时具备区分真实样本与生成样本的性质，并探究了几种著名 GAN 模型的特性。

    Jun, 2018

  • 最大均值差异遇见神经网络：Radon-Kolmogorov-Smirnov 检验

    通过最大均匀差异（MMD）测试及相关的理论及实验证明了 Radon-Kolmogorov-Smirnov（RKS）测试是一种能够以多个维度和较高平滑性阶数为基础的、具有全功率的测试方法，与神经网络密切相关。

    Sep, 2023

  • 最大均值差异检验能够识别对抗性攻击

    本研究提出三个重要因素：有效的深度内核、极限统计应用、野外自助法，尤其是克服了对抗数据的非独立性问题。研究结果表明，最大均值偏差 (MMD) 测验可以检测到自然数据和对抗数据之间的分布差异，这为基于两样本检验的对抗数据检测开辟了一条新的道路。

    Oct, 2020

  • 条件生成的矩匹配网络

    本研究提出了条件生成矩匹配网络 (CGMMN)，基于条件最大均值差距 (CMMD) 标准，学习给定一些输入变量的条件分布，学习采用随机梯度下降，梯度通过反向传播计算。我们在广泛的任务上评估了 CGMMN，包括预测建模、上下文生成和贝叶斯暗知识，这些任务通过学习相对较小的 CGMMN 学生网络从贝叶斯模型中提炼知识。结果表明，在所有任务中都具有竞争性的性能。

    Jun, 2016