ICCVAug, 2021

DiagViB-6：一套用于视觉模型的诊断基准套件，支持快捷通路和泛化机会的评估

PDF
TL;DR本研究发现常见的深度神经网络在预测基本的视觉目标因素（例如形状、颜色或纹理）时也会受到捷径学习的影响，且需要利用视觉数据中的独立性来克服此问题，从而引入了诊断视觉基准套件 DiagViB-6，并基准测试了多种流行的视觉体系结构并表明它们只能在有限程度上利用视觉数据中的独立性。
发现论文，激发创造
  • 用于减轻医学图像中的捷径学习的注视导向视觉 GNN

    本研究提出了一种新颖的注视导向视觉图神经网络（称为 GD-ViG），通过利用注视的视觉模式将网络引导到与疾病相关的区域，并从而减轻了快捷学习。该网络在医学图像分析中取得了优异的表现，比最新的方法更有效地减少了快捷学习问题。

    Jun, 2024

  • 探究视觉 Transformer 在分布偏移下的泛化能力

    本文系统研究了 Vision Transformers 在分布偏移情况下的泛化问题，发现其在背景和纹理上学习的偏差较弱，而对形状和结构的归纳偏差较强，因此在分布偏移情况下，相对于卷积神经网络，具有更好的泛化性能，且使用相同数量的参数，其在大多数类型的分布偏移下，比相应的 CNN 模型高出 5% 以上的准确度。此外，作者还进一步提出了增强泛化性能的 GE-ViTs，其对超参数的敏感度高于相应的 CNN 模型，因此设计了更平滑的学习策略以优化 GE-ViTs 的性能。

    Jun, 2021

  • 基于深度神经网络编码模型的腹侧视觉皮层外分化能力基准测试

    使用 DNN 编码模型预测视觉皮层神经元反应时，我们对其泛化能力进行了表征。通过收集来自猕猴颞下皮层的大规模神经群体反应数据集 MacaqueITBench，我们研究了分布转移对预测神经活动模型的影响。结果显示，分布转移对于预测神经元响应的模型性能有很大影响，并且预训练对象识别模型提取的图像表示之间的余弦距离是神经预测性的强预测因子。

    Jun, 2024

  • 语言模型先验不是唯一的捷径：一项视觉问答中捷径学习的基准测试

    为了解决 VQA 模型容易学习数据集偏见而非预期解决方案的问题，提出了一个考虑不同类型快捷方式构建不同分布变化的新数据集，并克服了在使用 VQA-CP v2 时出现的三种问题，提供了更严格和全面的测试环境。研究表明，特定快捷方式的方法无法同时适用于多个 OOD 测试集。

    Oct, 2022

  • 一个不可思议的先验来减少依赖快捷方式

    研究了深度网络在 o.o.d. 样本下的推广问题，提出了使用浅层结构的低容量网络侦测卷积神经网络中的 superficial features，从而避免过度依赖 “捷径” 解决问题，并鼓励深层次学习。实验证明，这种两阶段的 LCN-HCN 方法有助于减少对捷径的依赖和促进 o.o.d. 推广。

    Feb, 2021

  • ShortcutLens：一种用于探索自然语言理解数据集中快捷方式的可视化分析方法

    本文提出了一种名为 ShortcutLens 的可视化分析系统，帮助 NLU 专家探索 NLU 基准数据集中的捷径，该系统允许用户进行多层次的捷径探索，包括统计视图、模板视图和实例视图，研究结果表明 ShortcutLens 支持用户更好地了解基准数据集中的捷径问题，激励他们创建具有挑战性和相关性的基准数据集。

    Aug, 2022

  • 通过从源领域推广基础视觉因素来克服目标领域的捷径学习

    本文提出一种新方法来缓解深度神经网络在无控制目标域中过度依赖训练数据集中的伪相关性。 该方法通过扩展训练集并引入一个特定设计的源域来促进独立表示的学习，从而检验我们的想法。我们的主要发现是利用来自源域的数据是缓解跨域组合泛化中的快捷学习的有效方法。

    Jul, 2022

  • 重新思考视觉问答中的评估实践：针对分布外泛化的案例研究

    研究大规模多模态数据上预训练的 Vision-and-Language (V&L) 模型在视觉问答 (VQA) 任务中存在代表训练数据的样本分布偏移所造成的 OOD 性能问题，而模型学习的是解决基准测试而不是高层次的技能。本文通过考虑在不同设置下 (如分类和开放性文本生成) 两种预训练的 V&L 模型性能的全面评估，证明生成模型在大多数情况下对数据分布变化不太敏感，并在测试基准中表现更好。另外，我们发现多模态预训练可以提高大多数设置下的 OOD 性能。最后，本文重新审视了自动 VQA 评估度量的假设，并从经验上证明它们的严格性会反复惩罚模型的正确响应。

    May, 2022

  • 早期训练动态视角下的快捷学习

    本文通过观察 Deep Neural Networks (DNNs) 内部神经元的学习动态，提出了易学特征会导致 Shortcut Learning 的假设，并用实验验证了此假设。文章主张在早期的训练动态中监测模型的表现而非仅仅监测模型准确率。

    Feb, 2023

  • DNNs 会选择哪些快捷提示？—— 基于参数空间的研究

    本文介绍了一系列实验来深入理解深度神经网络中的快捷学习和其影响。作者设计了一种学习 WCST-ML 的训练过程，证明了在相同的机会下某些提示优先于其他提示，这可以通过 Kolmogorov 复杂度来解释。作者的研究基于 DSprites 和 UTKFace 数据集，强调了消除模型偏见的重要性。

    Oct, 2021