Feb, 2024

PQMass：使用概率质量估计评估生成模型质量

PDF
TL;DR我们提出了一种综合的基于样本的方法来评估生成模型的质量。该方法能够估计从同一分布中抽取两组样本的概率，从而为评估单个生成模型或比较在相同数据集上训练的多个竞争模型的性能提供了统计学上严谨的方法。该方法能够直接在高维数据上进行操作，无需降维，且不依赖于对真实分布密度的假设，也不依赖于训练或拟合任何辅助模型，而是专注于近似计算数据空间中各个子区域的密度（概率质量）的积分。
generative modelssample-based methodquality assessmentdistribution estimationhigh-dimensional data
发现论文，激发创造
  • 混合互信息估计的有效性

    本研究提出了一种结合判别性和生成性方法的变分界的估算方法，我们进一步提出了一种名为 PQ 的简单生成方法，可以与判别性估计器轻松结合，可以在高维高斯分布和随机过程数据上实现更紧凑的互信息估计。

    Jun, 2023

  • 学习模拟：基于分位数回归的生成元模型

    提出了一种新的元模型概念，称为生成元建模，旨在构建一个 “模拟器的快速模拟器”，能够在保持相同输入的条件下，以更快的速度生成随机输出，方便实时决策的立即计算任何摘要统计量。

    Nov, 2023

  • 基于特征概率密度函数的蛋白质单模型质量评估

    本文提出一种新型单一模型蛋白质质量评估方法 - Qprob，它计算蛋白质结构模型真实质量得分（GDT-TS 得分）与每个蛋白质特征值之间的绝对误差，并使用它们来估计其质量评估的概率密度分布。Qprob 在 11th Critical Assessment of Techniques for Protein Structure Prediction（CASP11）上进行了盲测试，并成功排名为最好的单一模型质量评估方法之一。该方法在预测难模型的蛋白质三级结构和质量评估方面表现出色，并为多个研究领域做出了贡献。

    Mar, 2016

  • 限制生成模型的测试对数似然

    研究提出了一种更高效的密度估计方法，从而解决了一些复杂的生成学习算法中难以估计模型质量的问题，并证明其提供了真实测试对数似然的下界和无偏估计，同时还提出了一种偏差估计的变体，可以在有限的样本数下可靠地用于模型比较。

    Nov, 2013

  • 评估生成模型的精准度和召回率指标的改进

    本研究提出了一种评估度量标准，以明确，非参数化表示真实和生成数据流形， 可以分别和可靠地测量图像生成任务中样本的质量和覆盖范围， 并且展示了该度量标准在 StyleGAN 和 BigGAN 方面的有效性。同时，我们分析了 StyleGAN 的多个设计变体以更好地了解模型架构，训练方法与样本分布属性之间的关系，并识别出新的改进方法。最后，我们将度量标准扩展到个体样本的感知质量估计，并使用它来研究潜空间插值。

    Apr, 2019

  • 基于贝叶斯积分的自动模型选择

    本文提出了一种新颖的技术，将贝叶斯积分方法用于模型选择，并在合成和实际例子上证明该技术通过最大化后验概率与模型似然观察之间的互信息，在计算上消耗更少的模型似然性评估，并且可以生产更精确的模型后验评估。

    Feb, 2019

  • QUEST: 机器翻译的质量感知 Metropolis-Hastings 采样

    在机器翻译中，为解决生成高质量和多样化的翻译的挑战，本文采用 Gibbs 分布的能量函数，并通过 Metropolis-Hastings 算法从高密度区域生成多个样本，提供了一种简单有效的方法来避免过度依赖噪声质量估计的问题。实验结果表明，所提出的方法在多种语言对（英语↔德语、俄语）和两个强解码器单模型（Alma-7b、Tower-7b）中产生了高质量和多样化的输出。

    May, 2024

  • 基于不确定性的无参考点云质量评估

    通过使用概率建模，本文提出了一种新的点云质量评估方法，使用条件变分自编码器对主观测试的评判随机性进行建模，并生成多个中间质量评分，最终将这些评分整合为准确的质量预测，实现对点云质量的准确评估。实验证明，该方法在不同数据集上表现出色，超越了先前领先的方法。

    Jan, 2024

  • 神经网络不确定性估计在分类问题中的质量比较

    对深度学习的 UQ 方法进行了质量评估，比较了不同模型的不确定性估计质量。

    Aug, 2023

  • 生成模型评估注意事项

    概率生成模型评估标准的独立性存在着许多亟需关注的性质，本文重点评估了影像模型，阐明对于高维数据当前最常用的三个标准，即平均对数似然、Parzen 窗口估计和样本视觉保真度，这些几乎是相互独立的；因此，好的表现不一定意味着好的其他标准的表现，在评估生成模型的性能时需要针对其预期应用直接进行评估，并且通常应避免使用 Parzen 窗口方法。

    Nov, 2015