Nov, 2023

大规模天文调查中的样本外泛化：健壮网络学习相似表示

PDF
TL;DR机器学习模型在处理来自未来天文调查的离域样本时依然面临挑战，解释性方法通过使用相似性度量来检查预训练卷积神经网络在中心核对齐方面的性能与表示相似性之间的关系，发现当模型对分布变化具有稳健性时，在离域数据上，图像在网络层之间的表示会有较大变化；然而，当模型无法泛化时，在离域数据上，这些表示在网络层之间的变化较小。讨论了这种相似性表示在模型设计、训练策略以及通过在训练过程中加入中心核对齐作为归纳偏差来缓解离域问题方面的潜在应用。
发现论文，激发创造
  • 面向外部分布泛化：一项调查

    该研究论文系统而全面地讨论了 Out-of-Distribution generalization 问题，其中包括它的定义、方法论、评估以及对未来的启示和发展方向，以及包括无监督表示学习在内的现有方法。

    Aug, 2021

  • 图上的外域泛化：一份综述

    我们综合调查了图形领域中的 ODD 概括率，并详细审查了最近在这个领域取得的进展，然后根据其在图形机器学习流水线中的位置，从数据、模型和学习策略等不同概念上将现有方法分为三类，并对每个类别进行了详细讨论，最后分享了我们对未来研究方向的看法。

    Feb, 2022

  • 无需考虑大小的图表示方法，用于图分类和推断

    该研究探讨使用因果模型学习具有近似不变性的表示方法，并展示了这种方法对于培训 / 测试分布转移具有对抗性的图形分类中的好处。

    Mar, 2021

  • OOD-GNN: 面向外分布的通用图神经网络

    本文提出了一种名为 OOD-GNN 的图神经网络，它通过使用利用随机傅里叶特征的非线性图表示装饰方法来消除图表示中相关和不相关部分之间的统计依赖关系，进而使其能够实现对训练图数据分布以外的新颖测试图数据的良好性能。经实验证明，该方法在两个合成和 12 个真实数据集上均远远优于现有的最优基准模型。

    Dec, 2021

  • 用于检测超出分布样本的内分布样本关键特征替换

    本论文提出了一种基于 KIRBY 过程的方法，利用辅助数据集来训练拒绝网络，以将异常数据与正常数据区分开，有效提高图像分类的精度。

    Dec, 2022

  • 离群数据：对抗样本的熟悉 —— 综述

    深度神经网络在现实应用中会遇到来自分布失真和对抗性攻击的数据，本综述聚焦于这两个领域的交叉研究，探讨如何通过鲁棒的分布失真检测和统一的鲁棒性进行对抗性攻击和对分布失真数据的健壮处理。

    Apr, 2024

  • 关于概率图像建模的场外泛化问题

    采用局部自回归模型提高了其对于 out-of-distribution 问题检测的性能，并且成功地构建了新的无损压缩算法 neural local lossless compressor (NeLLoC)，并且在压缩率和模型大小上达到了最佳性能。

    Sep, 2021

  • 通过因果干预实现图形的超出分布泛化

    通过因果关系分析揭示了图神经网络在节点分布迁移中一种存在于环境背景潜在混淆偏差，提出一种简明的、有原则性的方法通过因果推断来训练鲁棒的图神经网络，以抵消训练数据中的混淆偏差，并促进学习可泛化的预测关系。实验证明，该模型可以有效提高各类分布迁移情况下的泛化性能，在图的分布迁移基准测试中相比最先进方法最多提高 27.4% 的准确率。

    Feb, 2024

  • OoD-Bench: 量化和理解外分布泛化的两个维度

    通过对分布偏移数据的分类和对其相关算法的大量实验比较，对已有数据集和算法进行了分类整合，为未来的迁移学习和数据偏移研究提供了参考。

    Jun, 2021

  • 基于深度神经网络编码模型的腹侧视觉皮层外分化能力基准测试

    使用 DNN 编码模型预测视觉皮层神经元反应时，我们对其泛化能力进行了表征。通过收集来自猕猴颞下皮层的大规模神经群体反应数据集 MacaqueITBench，我们研究了分布转移对预测神经活动模型的影响。结果显示，分布转移对于预测神经元响应的模型性能有很大影响，并且预训练对象识别模型提取的图像表示之间的余弦距离是神经预测性的强预测因子。

    Jun, 2024