基于结构的材料属性预测方法对比研究

Jan, 2024

基于结构的材料属性预测方法对比研究

Structure-based out-of-distribution (OOD) materials property prediction: a benchmark study

Sadman Sadeed Omee, Nihang Fu, Rongzhi Dong, Ming Hu, Jianjun Hu

TL;DR现实世界材料研究中，机器学习模型通常被期望能够预测和发现与已知材料不同的新颖材料。本研究在物性预测模型性能评估中提供了客观评价，在超出训练集分布的材料中预测模型的性能。通过在三个基准数据集上对基于结构的图神经网络的广泛实验，我们发现当前最先进的图神经网络算法在超出分布的物性预测任务上与基线模型相比表现明显不足，展示了在现实材料预测任务中关键的泛化差距。我们进一步研究了这些图神经网络模型的潜在物理空间，并鉴定出 CGCNN、ALIGNN 和 DeeperGATGNN 相对于 MatBench 研究中目前最佳模型（coGN 和 coNGN）在超出分布的任务上更为稳健的性能，并提供了改进性能的见解。

Abstract

In real-world material research, machine learning (ML) models are usually expected to predict and discover novel exceptional materials that deviate from the known materials. It is thus a pressing question to provide an objective evaluation of ML model performances in property prediction

machine learning models property prediction out-of-distribution materials graph neural networks generalization gap

发现论文，激发创造

带有非分布节点的图学习

用于图的预测任务的最先进模型为图神经网络 (GNNs)。本文主要研究在训练和推理期间出现了未在训练集中出现的节点的情况下，存在于图中的 out-of-distribution (OOD) 节点。我们提出了 Out-of-Distribution Graph Attention Network (OODGAT)，作为一种新颖的 GNN 模型，通过显式地模型化节点之间的交互，将异常值与正常值分离开来，从而优于现有的异常值检测方法并在内部分布分类方面更好或与之媲美。

Aug, 2023

消息传递图神经网络在大型测试图中的 OOD 链接预测泛化能力

本文提供首个理论研究证明图神经网络在图形大小大于训练图形的情况下，能够执行归纳式跨领域链接预测任务，我们提出了一种结构节点嵌入的方法，并证明了它的有效性和收敛性。

May, 2022

OOD-GNN: 面向外分布的通用图神经网络

本文提出了一种名为 OOD-GNN 的图神经网络，它通过使用利用随机傅里叶特征的非线性图表示装饰方法来消除图表示中相关和不相关部分之间的统计依赖关系，进而使其能够实现对训练图数据分布以外的新颖测试图数据的良好性能。经实验证明，该方法在两个合成和 12 个真实数据集上均远远优于现有的最优基准模型。

Dec, 2021

探究图神经网络的超范围泛化：一种架构视角

对于图外分布问题（OOD），本研究从体系结构角度进行了全面调查，探讨了现代图神经网络的常见构建模块。通过广泛的实验，揭示了图的自注意机制和解耦体系结构对图 ODD 泛化的正面贡献，而线性分类层则会损害图 ODD 泛化能力。此外，我们基于这些发现开发了一种新的图神经网络模型 DGAT，它充分利用了图的自注意机制和解耦体系结构的稳健特性，并通过广泛的实验证明了我们模型在图 ODD 下的有效性，对各种训练策略都展现出了明显和一致的改进。

Feb, 2024

化学动力学性质的超出分布通用预测方向

利用机器学习（ML）技术，本研究探索了化学动力学性质的估计。通过 “AI4drug discovery” 发现的药物分子为基础，下一步的关键是以人工智能驱动的设计高通量化学合成过程，并估计未知反应和未探索分子的性质。为此，对于动力学性质预测的现有 ML 方法需要具备 Out-Of-Distribution（OOD）的可推广性。本文将 OOD 动力学性质预测分为三个级别（结构，条件和机制），揭示了这些问题的独特方面。在这个框架下，我们创建了全面的数据集，用于评估（1）在 OOD 设置中用于反应预测的最新 ML 方法，以及（2）用于动力学性质预测问题的最新图形 OOD 方法。我们的结果展示了 OOD 动力学性质预测中的挑战和机遇。我们的数据集和基准可以进一步支持这一研究方向。

Oct, 2023

基于能量的图神经网络异常检测

针对图形数据的 OOD 检测问题，本论文提出了一种基于图神经网络的能量函数的有效 OOD 鉴别器，命名为 GNNSafe，并在模拟和真实数据集上的评估中证明了它的性能优于现有技术。

Feb, 2023

关于对非分布式图形泛化图形神经网络

本文提出了一种名为 StableGNN 的基于因果关系的图神经网络框架，该框架从图数据中提取高级表示，并利用因果推断的区分能力帮助模型消除虚假相关性，具有良好的有效性、灵活性和解释性。

Nov, 2021

通过因果干预实现图形的超出分布泛化

通过因果关系分析揭示了图神经网络在节点分布迁移中一种存在于环境背景潜在混淆偏差，提出一种简明的、有原则性的方法通过因果推断来训练鲁棒的图神经网络，以抵消训练数据中的混淆偏差，并促进学习可泛化的预测关系。实验证明，该模型可以有效提高各类分布迁移情况下的泛化性能，在图的分布迁移基准测试中相比最先进方法最多提高 27.4% 的准确率。

Feb, 2024

具有可控数据增强的图像领域外泛化

Graph Neural Network 在解决图分类问题上表现出了极好的性能，然而，由于训练和测试数据的选择偏差，造成了分布差异的广泛存在。针对这个问题，我们提出了 OOD-GMixup 方法来联合调控度量空间中的训练分布，并且通过消除杂乱相关和生成虚拟样本来度量、控制分布偏差。实验结果表明，我们的方法在几个真实世界的图分类数据集上优于现有方法。

Aug, 2023

图结构和特征外推用于超出分布的泛化

本文提出了使用非欧氏线性外推的方法来实现图形 OOD 广义化，并在不破坏基本因果机制的情况下为特定转移定制 OOD 样本，理论分析和实证结果表明了我们的方法在解决目标转移问题上的有效性。

Jun, 2023