Mar, 2024

复杂性的重要性：在伪相关存在的情况下的特征学习动态

PDF
TL;DR我们提出了一个理论框架和相关的合成数据集，以布尔函数分析为基础，允许对虚假特征相对复杂性和与标签相关性的相对强度进行细粒度控制，以研究虚假相关下特征学习的动态。我们的设置揭示了几个有趣的现象：（1）更强的虚假相关或更简单的虚假特征会减缓核心特征的学习速率，（2）虚假特征和核心特征的学习阶段并不总是分离的，（3）即使在核心特征完全学习后，虚假特征也不会被遗忘。我们的发现证实了重新训练最后一层以消除虚假相关的成功，并且确定了利用早期学习虚假特征的常用去偏算法的局限性。我们通过针对使用具有一层隐藏层 ReLU 网络学习 XOR 特征的情况进行理论分析来支持我们的实证发现。
neural network optimizationfeature learningspurious featuresspurious correlationdebiasing algorithms
发现论文，激发创造
  • 在伪相关存在的情况下的特征学习

    通过评估使用权重调整、强正则化和组鲁棒性训练等方法训练的模型，重训练模型的方法在多个视觉和 NLP 问题中表现出与其他方法相似的结果，表明无需过度正则化即可学习高质量的特征表示。

    Oct, 2022

  • 通过简单偏好的视角早期识别训练中的伪偏差

    研究表明，梯度下降训练的神经网络具有归纳偏差，倾向于学习简单的解决方案，导致学习到与标签高度相关的简单虚假特征而非复杂的核心特征，此文介绍一种名为 SPARE 的方法，能够早期发现含有虚假相关性的大型分组，并利用重要性抽样来平衡组大小，从而减轻虚假关联的影响，相对于现有方法，SPARE 方法的最差组准确度提高了最高达 5.6%，速度提高了多达 12 倍。

    May, 2023

  • 基于渐进式数据扩展的强健学习：对抗伪相关性

    本文对深度学习算法中非通用虚假特征的问题进行了研究，提出了一种名为 PDE 的新的训练算法，提高了模型的鲁棒性和最坏组表现，平均比现有的最先进技术提高了 2.8% 的最坏组准确性，同时具有高达 10 倍的训练效率。

    Jun, 2023

  • Salient ImageNet: 如何发现深度学习中的假特征？

    本文提出了一种通用框架来发现一般模型推断中使用的一些杂项和核心的视觉特征，并在大量图像上对这些视觉特征进行定位，从而对各种著名的 Imagenet 模型进行分析和评估。

    Oct, 2021

  • 一种用于去偏置神经网络的对抗特征学习策略

    本实验提出特征筛选的方法，即在神经网络的低层中自动鉴定和抑制易于计算的虚假特征，从而使高级别能够提取更丰富、更有意义的特征，这可以提高深度神经网络的识别能力和准确性，且无需依赖任何预设的知识。

    Jan, 2023

  • 自然语言中的所有虚假特征是否相似？通过因果透镜进行分析

    本文区分了 NLP 中的 “虚假相关” 中的两种情况（特征对标签的影响是否取决于上下文），并使用因果模型和必要性和充分性概率对其进行了更细致的处理，说明了现有去偏差方法的结果，并揭示了去偏差后模型表示中虚假特征的编码。

    Oct, 2022

  • Spuriosity Rankings: 为假相关性的鲁棒性分类数据

    提出了一种框架，用于基于存在的虚假线索以及图像排名，评估 ImageNet 模型的错误关联问题，通过对错误排名和正确排名的图像的准确度差距的测量（称为虚假差距），对 89 个 ImageNet 模型进行评估，发现即使是最好的模型在具有虚假线索存在的图像中也表现不佳，并且这种虚假线索的影响在不同的类别之间差异更大。

    Dec, 2022

  • 少学习捷径：分析和减轻虚假特征 - 标签相关性的学习

    本文研究深度神经网络中数据集偏差对任务的影响。通过具体分析特征和标签之间的虚假相关性的来源，本文提出了一种训练策略，即通过量化偏置的程度来调整偏置示例的权重，以减少模型过度依赖数据集偏差的情况，并在 QM 和 NLI 任务上得到了表现的提高。

    May, 2022

  • 信息量和不变性：自然语言中伪相关性的两个观点

    该论文分析了 Gardner 等人提出的语言的组合性质意味着标签和各自的‘输入特征’之间的所有相关性都是虚假相关性这一提议，在简单的 PCFG 中演示出三种明显的条件可以导致特征 - 标签相关性的产生，论文指出在所有但极少数情况下，输入特征将与标签各自相关，因此需应用领域知识识别可能对鲁棒性构成真正威胁的虚假相关。

    Apr, 2022

  • 在线学习因果模型

    通过检测和去除虚假特征来间接发现因果模型，以加强预测模型的鲁棒性和泛化能力，并说明问题的时间结构信息对于在线检测虚假特征至关重要。

    Jun, 2020