早期训练动态视角下的快捷学习

Feb, 2023

Shortcut Learning Through the Lens of Early Training Dynamics

Nihal Murali, Aahlad Manas Puli, Ke Yu, Rajesh Ranganath, Kayhan Batmanghelich

TL;DR本文通过观察 Deep Neural Networks (DNNs) 内部神经元的学习动态，提出了易学特征会导致 Shortcut Learning 的假设，并用实验验证了此假设。文章主张在早期的训练动态中监测模型的表现而非仅仅监测模型准确率。

Abstract

deep neural networks (DNNs) are prone to learn shortcut patterns that damage the generalization of the DNN during deployment. shortcut learning is concerning, particularly when the DNNs are applied to safety-crit

deep neural networks shortcut learning spurious correlations instance difficulty early training dynamics

发现论文，激发创造

深度神经网络的快捷学习

本文介绍深度学习中的 shortcut learning 问题，该问题用于在标准基准测试中表现良好的决策规则在更具挑战性的测试条件下失败，作者提出了一些模型解释和基准测试的建议，以改善从实验室到真实世界应用的稳健性和可迁移性。

Apr, 2020

坚持不懈：减轻深度学习中的捷径之路

深度神经网络易受到捷径学习的影响，本文通过拓扑数据分析和持久同调的研究，找出一种能够解决深度学习中的捷径学习问题的统一方法。

Feb, 2024

超越捷径：通过神经坍缩的视角进行无偏学习

本文探讨了神经塌缩（Neural Collapse）现象在不平衡属性的偏倚数据集中的影响，提出了一种避免捷径学习的框架，通过设计神经塌缩结构的快捷方式引导模型，以捕捉内在的相关性，从而解决了偏倚分类的根本原因，实验证明该方法在训练过程中具有更好的收敛性能并在综合和真实世界的偏倚数据集上实现了最新的泛化性能。

May, 2024

DNNs 会选择哪些快捷提示？—— 基于参数空间的研究

本文介绍了一系列实验来深入理解深度神经网络中的快捷学习和其影响。作者设计了一种学习 WCST-ML 的训练过程，证明了在相同的机会下某些提示优先于其他提示，这可以通过 Kolmogorov 复杂度来解释。作者的研究基于 DSprites 和 UTKFace 数据集，强调了消除模型偏见的重要性。

Oct, 2021

关于捷径学习的基础

深度学习模型从数据中提取多种多样的特征，但这些特征的使用不仅取决于其预测能力（即特征如何可靠地指示训练数据标签），还取决于其可提取性（即特征从输入中容易提取或利用的程度）。研究表明，某些模型更喜欢使用某些特定的特征，例如纹理优先于形状，图像背景优先于前景对象。本研究通过构建一个具有预测性和可提取性差异的最小显性生成框架，并量化了模型的 Shortcut Bias（即过度依赖快捷特征而忽视核心特征的程度），从而系统研究了预测性和可提取性如何相互作用来影响模型的特征使用。实证结果表明，线性模型相对没有偏见，但引入具有 ReLU 或 Tanh 单隐藏层的模型则会产生偏见。最后，本研究还研究了在实际使用中，模型是如何在自然数据集中权衡预测性和可提取性，并发现了增加模型 Shortcut Bias 程度的可提取性操作。综上所述，这些发现表明，在深度非线性架构中学习快捷特征的倾向是一个基本特征，值得进行系统研究，因为它影响模型解决任务的方式。

Oct, 2023

深度学习的隐性偏见：渐增学习如何推动泛化

本文定义了增量学习动力学的概念并证明了在深度为多项式关系和初始化条件正确的情况下，神经网络可以展现出增量学习能力，且通过实验证明在使用深度学习模型中，梯度下降算法有助于寻找简单的模型解。

Sep, 2019

神经网络在图像分类中学习了什么？一个频率捷径的视角

频率分析这一研究领域在理解神经网络中的表示学习机制方面具有重要作用。本研究通过实证调查，扩展了对频率快捷方式的理解，并验证了其在分类任务中的应用，结果显示频率快捷方式是可转移的，且无法完全避免，建议未来的研究应该专注于有效的训练方案以减轻频率快捷方式的学习。

Jul, 2023

深度线性神经网络学习非线性动力学的精确解

通过对深度线性神经网络的学习动态进行系统分析，我们发现这些网络表现出类似于非线性神经网络的非线性学习现象，包括长时间的平原，然后快速转换到更低误差的解决方案，以及从贪婪的无监督预训练初始条件下的更快收敛等。同时，我们发现在权重的某些特殊初始条件下，非监督预训练可以找到这些初始条件，同时表现出深度独立的学习时间，而随机高斯初始化则做不到。

Dec, 2013

深度神经网络学习过拟合特征的起始点解释：交互的两阶段动态

该研究探讨了深度神经网络 (DNN) 学习交互的动态。研究发现 DNN 学习交互的过程分为两个阶段，并验证了高阶交互相较于低阶交互有较弱的泛化能力，从而解释了 DNN 的泛化能力在训练过程中的变化。

May, 2024

医学图像分割中的快速学习

研究通过探索临床注释以及数据集中的零补齐卷积和中心裁剪训练集等因素如何无意中成为快捷方式对医学图像分割准确性产生影响，并确定并评估了两个常见的医学图像分割任务中的快捷方式学习。此外，提出了减轻快捷方式学习影响、提高分割模型普适性的策略，并为评估和克服医学图像分割中普遍存在的挑战提供了见解和方法。

Mar, 2024