May, 2024

图神经网络性能特征的更深入理解中模型检验的重要性

PDF
TL;DR该研究通过比较性能分析的一部分强调了进行全面模型检查的重要性。在这里，我们研究了模型选择对应用于脑形态分类任务的图神经网络的特征学习特性的影响。特别地，我们分析了使用参数高效、共享图卷积子模型与结构特定、非共享子模型的影响。此外，我们评估了作为数据协调流程的一部分的网格对齐的影响。我们发现模型的不同层的特征嵌入存在显著差异。我们的结果强调，仅凭测试准确度无法识别与数据源相关的编码偏差或在子模型中学习的可能非判别特征等重要模型特征。我们的模型检查框架为从事医学影像深度学习模型的性能特性提供了有价值的工具。
comprehensive model inspectioncomparative performance analysesgraph neural networksfeature learning characteristicsbrain shape classification
发现论文，激发创造
  • 通过鲁棒特征提取理解深度网络的故障

    本文介绍并研究了一种方法，旨在通过识别导致模型失败的视觉特征，对学习模型的传统评估方法进行补充，从而更好地表现重要和有益的失败模式。作者进一步提出了一种可视化方法用于帮助人们理解这些特征的含义，并在 ImageNet 数据集上进行了评估，结果表明：这种方法是发现重要的失败模式的有效方法，可视化技术有助于人们理解提取的特征，提取的洞见可以帮助工程师进行错误分析和调试。

    Dec, 2020

  • 通过识别重要特征并以正确分辨率了解学习模型

    本文提出了一种模型无关的方式来测试特征组和交互作用，并使用假设检验来评估特征对模型损失的影响，并使用层次化方法控制假阳性错误率，并应用于两个生物医学应用中的随机森林和 LSTM 神经网络模型分析。

    Nov, 2018

  • 通过架构特征推断卷积神经网络的准确性

    本研究提出了一种有利于评估不同卷积神经网络体系结构的系统性语言，该语言能够在训练前进行比较，本研究使用该语言在两个具体的基于计算机视觉的物理问题上，解决了事件顶点查找和强子多重性分类问题，同时提取了优化网络架构中的几个架构属性，使用机器学习模型对其进行了预测。

    Jan, 2020

  • 分层神经网络的模块化表示

    提出了一种新的基于网络分析的方法，通过检测具有相似连接模式的单元的社区或聚类，从分层神经网络中提取全局和简化的结构，并通过实验验证其有效性，从而实现了分解网络、训练评估和数据分析等目的。

    Mar, 2017

  • 简单网络架构优化图神经网络

    本文提出了一种基于图神经网络的特征选择方法，通过解耦节点特征聚合和网络深度，采用 softmax 和 Hop-Normalization 技术，使得模型在节点分类任务中取得了 64% 以上的精度，其学习到的精选参数可以用于研究预测任务中特征的重要性，同时在大型图中拥有可扩展性。

    May, 2021

  • 用于解读任务 fMRI 生物标志物的图神经网络

    通过使用图神经网络和 fMRI 数据，开发出含有两个阶段的流程来识别 ASD 的生物标志物，并发现证据为 GNN 分类器使用的大脑区域 / 子图。

    Jul, 2019

  • 图学习中特征与结构相互作用的研究

    在本研究中，我们以往对同质性和异质性之间的二分法的认识启发了我们对深度图网络的归纳偏差的研究。然而，最近的研究指出，这种二分法过于简单，因为我们可以构建节点分类任务，其中图形完全异质，但性能仍然很高。我们的工作通过形式化两个生成过程来研究当这种强假设不成立时会发生什么，这两个生成过程可以用于构建和研究即席问题。通过一个我们称之为特征信息量的度量来定量衡量节点特征对目标标签的影响，我们构建了六个合成任务并评估了六个模型（包括对结构不可知的模型）的性能。我们的发现揭示了在放松上述假设时先前定义的度量不适用的事实。我们对研讨会的贡献旨在呈现可能有助于推进我们对该领域的理解的新的研究成果。

    Aug, 2023

  • 不使用训练或测试数据预测最先进神经网络质量趋势

    该研究利用基于规范的容量控制指标和基于幂律的重尾自正则化理论的度量方法对数百个公开可用的预训练模型进行了详细的元分析，发现基于幂律的度量方法可以更好地区分预训练模型的良好培训和质量低劣的模型。

    Feb, 2020

  • 图分类问题中图神经网络的公正比较

    本文探讨了机器学习中实验的可重复性和可复制性问题，并针对图形学习领域的常见做法、常见问题和常用方法进行概述，提供了五个流行模型的评估方法，并提出结构信息尚未得到充分利用的证据。

    Dec, 2019

  • 利用性能预测加速神经架构搜索

    本文提出了一种利用标准频率回归模型通过网络架构、超参数和时间序列验证性能数据来预测部分训练模型配置的最终性能的方法，并证明该方法在视觉分类和语言建模领域中是有效的。同时，我们提出了一种早期停止方法，可用于超参数优化和元模建模，加速了模型配置的优化过程，该方法在强化学习 - based 架构选择算法和基于贝叶斯思想的搜索方法中均可无缝集成。

    May, 2017