拓扑感知的鲁棒优化用于超出分布的泛化

ICLRJul, 2023

拓扑感知的鲁棒优化用于超出分布的泛化

Topology-aware Robust Optimization for Out-of-distribution Generalization

Fengchun Qiao, Xi Peng

TL;DR该研究通过拓扑感知的鲁棒优化框架，结合分布的拓扑结构，提出了一种解决机器学习中非分布外泛化问题的方法，理论上证明了其有效性，并在分类、回归和语义分割等多种任务中实证表明，在泛化风险上显著优于现有方法。此外，研究还发现数据驱动的分布拓扑与领域知识一致，增强了方法的可解释性。

Abstract

Out-of-distribution (OOD) generalization is a challenging machine learning problem yet highly desirable in many high-stake applications. Existing methods suffer from overly pessimistic modeling with low generalization confidence. As generalizing to arbitrary test distributions is impossible, we hypothesize that further structure on the topology of distributi

out-of-distribution generalization topology-aware robust optimization distributional topology robust optimization generalization risks

发现论文，激发创造

图结构和特征外推用于超出分布的泛化

本文提出了使用非欧氏线性外推的方法来实现图形 OOD 广义化，并在不破坏基本因果机制的情况下为特定转移定制 OOD 样本，理论分析和实证结果表明了我们的方法在解决目标转移问题上的有效性。

Jun, 2023

基于拓扑感知的图分布偏移动态重新加权

采用拓扑感知动态重新加权（TAR）框架，通过在几何 Wasserstein 空间中的梯度流动态调整样本权重，以提供分布鲁棒性，从而增强图数据的域外泛化性能。

Jun, 2024

处理图上的分布偏移：一个不变性的视角

本文提出了一种基于不变性学习和风险最小化的方法，实现图神经网络对于图结构数据上的越域通用性问题进行预测和预测不确定性的估计。

Feb, 2022

关于超出分布泛化的理论框架

本文第一次尝试对 OOD 问题的可学习性和扩张函数进行严格和量化的定义，并引入了一个新的扩张函数概念来量化不变特征的方差程度，进而证明了 OOD 泛化误差界，实验证明我们的模型选择标准相比基线有显著优势。

Jun, 2021

面向外部分布泛化：一项调查

该研究论文系统而全面地讨论了 Out-of-Distribution generalization 问题，其中包括它的定义、方法论、评估以及对未来的启示和发展方向，以及包括无监督表示学习在内的现有方法。

Aug, 2021

可证明鲁棒性的无需付出昂贵代价的异常检测

研究使用机器学习技术的安全关键系统需要可靠的不确定性评估。本研究发现，深度神经网络在处理分布外数据时可能会产生过度自信的预测。本研究提出了一种具有保护分布外数据和高准确度的分类器，并提供所有实验代码。

Jun, 2021

RetroOOD：理解反合成预测中的外域通用化

机器学习辅助的逆合成预测模型在标准基准测试上取得稳步进展，但在现实世界中应用于非分布（OOD）分子或反应时，其性能往往显著下降。本研究通过建立两组基准数据集，系统比较了先进的逆合成预测模型在分布转移下的性能，并提出了两种模型无关技术，经初步实验显示其有高潜力并平均性能提高 4.6％，从而为进一步面向 OOD 泛化的逆合成预测研究提供了基础。

Dec, 2023

通过分布式鲁棒优化学习解决路径规划问题

本文研究了应用于解决路由问题的深度模型在训练时通常只考虑单个数据分布，导致它们的交叉分布泛化能力受到严重削弱，因此提出采用分组分布式鲁棒优化来解决该问题，并设计了基于卷积神经网络的模块，以便让深度模型学习更多节点之间的相关信息。实验结果表明，该方法能显著提高原始模型的交叉分布泛化性能。

Feb, 2022

大规模天文调查中的样本外泛化：健壮网络学习相似表示

机器学习模型在处理来自未来天文调查的离域样本时依然面临挑战，解释性方法通过使用相似性度量来检查预训练卷积神经网络在中心核对齐方面的性能与表示相似性之间的关系，发现当模型对分布变化具有稳健性时，在离域数据上，图像在网络层之间的表示会有较大变化；然而，当模型无法泛化时，在离域数据上，这些表示在网络层之间的变化较小。讨论了这种相似性表示在模型设计、训练策略以及通过在训练过程中加入中心核对齐作为归纳偏差来缓解离域问题方面的潜在应用。

Nov, 2023

离群数据：对抗样本的熟悉 —— 综述

深度神经网络在现实应用中会遇到来自分布失真和对抗性攻击的数据，本综述聚焦于这两个领域的交叉研究，探讨如何通过鲁棒的分布失真检测和统一的鲁棒性进行对抗性攻击和对分布失真数据的健壮处理。

Apr, 2024