ICLRJan, 2022

图生成模型的评价指标

PDF
TL;DR通过引入基于未训练随机 GNN 提取的特征的几个度量标准，完全测试了这些度量标准衡量生成的图的多样性和保真度的能力、其样本和计算效率，并推荐了两种新的度量标准，以用于对 GGM 的评估。
graph generative modelsevaluation metricsgraph neural networksgenerated graphscomputational efficiency
发现论文，激发创造
  • 生成对抗网络评估指标的实证研究

    本文研究了生成对抗网络（GAN）的评估方法，发现基于核最大均值差（MMD）和最近邻（1-NN）等指标，可以较好地满足评估需要，同时具备区分真实样本与生成样本的性质，并探究了几种著名 GAN 模型的特性。

    Jun, 2018

  • 图生成模型的评估指标：问题、陷阱和实用解决方案

    本文介绍了如何评估和比较图生成模型，特别是着重介绍了最大均值差异（MMD）在图生成模型比较中的应用。通过对人为生成的扰动图以及最近提出的图生成模型的行为全面分析，我们提出了适当的纠正措施并为研究人员提供了一些实用建议。

    Jun, 2021

  • 图神经网络的扩展图评估指标

    通过引入扩展图评估指标（GAMs），我们研究了患者队列的重组、人口图形的构建以及使用图神经网络进行医学相关的任务，展示了这些评估指标与模型性能之间的相关性。

    Jul, 2023

  • 评估生成模型的精准度和召回率指标的改进

    本研究提出了一种评估度量标准，以明确，非参数化表示真实和生成数据流形， 可以分别和可靠地测量图像生成任务中样本的质量和覆盖范围， 并且展示了该度量标准在 StyleGAN 和 BigGAN 方面的有效性。同时，我们分析了 StyleGAN 的多个设计变体以更好地了解模型架构，训练方法与样本分布属性之间的关系，并识别出新的改进方法。最后，我们将度量标准扩展到个体样本的感知质量估计，并使用它来研究潜空间插值。

    Apr, 2019

  • 用于基准测试图神经网络的图生成模型

    提出了一种名为 Computation Graph Transformer（CGT）的图形生成模型，它可以在保证隐私的前提下，生成大规模真实世界图的有效基准图，用于作为 Graph Neural Networks 模型的基准测试。

    Jul, 2022

  • GraphFramEx：面向图神经网络可解释性方法的系统评估

    本文提出了第一个系统性的图神经网络的可解释性评估框架，比较了该领域中最具代表性的技术，涉及节点分类任务和欺诈检测应用案例。

    Jun, 2022

  • 几何分数：一种比较生成对抗网络的方法

    本文提出了一种新的基于几何学性质的 GAN 模型性能度量方法，可以定量和定性地评估生成样本的质量和模式崩溃的程度。该算法适用于各种类型的数据集，并不仅限于视觉数据。我们在多种真实模型和数据集上测试了该方法，并展示了其提供的 GANs 特性新洞察。

    Feb, 2018

  • 图马尔可夫神经网络的公平评估

    本文介绍了一种名为 GMNN 的图马尔可夫神经网络模型用于半监督节点分类，它在节点特征、图结构、邻居节点标签三个方面提高节点标签预测的准确性，并使用 WikiVitals 数据集进行了有效性验证，研究中使用了适当的随机化方法进行模型性能比较和模型选择。

    Apr, 2023

  • GNNEvaluator: 无标签图上评估 GNN 性能

    本文提出了一种基于图神经网络（GNN）模型的评估框架，通过构建 DiscGraph 集合和训练 GNNEvaluator 模型来准确估计和评估 GNN 模型在未标注图上的节点分类准确性。

    Oct, 2023

  • 准确评估 GAN 在语言生成中的性能

    本文讨论了用于语言生成的生成对抗网络 (GANs) 模型的评估指标问题，认为现有的评估指标无法全面准确地反映模型更真实的表现，提出了一些更适合从质量和多样性方面评估 GAN 模型的新指标，并通过实验证明了相比传统语言模型 (LM)，目前的 GAN 模型在语言生成方面的表现并没有明显优势。

    Jun, 2018