Apr, 2020

深度神经网络的快捷学习

PDF
TL;DR本文介绍深度学习中的 shortcut learning 问题，该问题用于在标准基准测试中表现良好的决策规则在更具挑战性的测试条件下失败，作者提出了一些模型解释和基准测试的建议，以改善从实验室到真实世界应用的稳健性和可迁移性。
deep learningshortcut learningmodel interpretationbenchmarkingtransferability
发现论文，激发创造
  • 早期训练动态视角下的快捷学习

    本文通过观察 Deep Neural Networks (DNNs) 内部神经元的学习动态，提出了易学特征会导致 Shortcut Learning 的假设，并用实验验证了此假设。文章主张在早期的训练动态中监测模型的表现而非仅仅监测模型准确率。

    Feb, 2023

  • 坚持不懈：减轻深度学习中的捷径之路

    深度神经网络易受到捷径学习的影响，本文通过拓扑数据分析和持久同调的研究，找出一种能够解决深度学习中的捷径学习问题的统一方法。

    Feb, 2024

  • 学习快速捷径：关于语言模型中自然语言理解的误导承诺

    大型语言模型在自然语言处理领域取得了重要的性能提升，然而近期的研究发现，这些模型在执行任务时往往使用了捷径，导致性能看起来得到了提升，却缺乏泛化能力。这一现象给大型语言模型的自然语言理解评估带来了挑战。本文对该领域的相关研究进行了简明调查，并提出了对于捷径学习在语言模型评估中的影响的观点，特别是对于 NLU 任务。本文呼吁加大对捷径学习的研究力度，促进更加强大的语言模型的开发，并提高在实际场景中的 NLU 评估标准。

    Jan, 2024

  • 医学图像分割中的快速学习

    研究通过探索临床注释以及数据集中的零补齐卷积和中心裁剪训练集等因素如何无意中成为快捷方式对医学图像分割准确性产生影响，并确定并评估了两个常见的医学图像分割任务中的快捷方式学习。此外，提出了减轻快捷方式学习影响、提高分割模型普适性的策略，并为评估和克服医学图像分割中普遍存在的挑战提供了见解和方法。

    Mar, 2024

  • 关于捷径学习的基础

    深度学习模型从数据中提取多种多样的特征，但这些特征的使用不仅取决于其预测能力（即特征如何可靠地指示训练数据标签），还取决于其可提取性（即特征从输入中容易提取或利用的程度）。研究表明，某些模型更喜欢使用某些特定的特征，例如纹理优先于形状，图像背景优先于前景对象。本研究通过构建一个具有预测性和可提取性差异的最小显性生成框架，并量化了模型的 Shortcut Bias（即过度依赖快捷特征而忽视核心特征的程度），从而系统研究了预测性和可提取性如何相互作用来影响模型的特征使用。实证结果表明，线性模型相对没有偏见，但引入具有 ReLU 或 Tanh 单隐藏层的模型则会产生偏见。最后，本研究还研究了在实际使用中，模型是如何在自然数据集中权衡预测性和可提取性，并发现了增加模型 Shortcut Bias 程度的可提取性操作。综上所述，这些发现表明，在深度非线性架构中学习快捷特征的倾向是一个基本特征，值得进行系统研究，因为它影响模型解决任务的方式。

    Oct, 2023

  • DNNs 会选择哪些快捷提示？—— 基于参数空间的研究

    本文介绍了一系列实验来深入理解深度神经网络中的快捷学习和其影响。作者设计了一种学习 WCST-ML 的训练过程，证明了在相同的机会下某些提示优先于其他提示，这可以通过 Kolmogorov 复杂度来解释。作者的研究基于 DSprites 和 UTKFace 数据集，强调了消除模型偏见的重要性。

    Oct, 2021

  • 神经网络中的深度学习概述

    这篇文章总结了深度神经网络在模式识别和机器学习中的应用，包括深度监督学习、无监督学习和强化学习，在搜索深层网络的过程中进行了间接搜索。

    Apr, 2014

  • 深度学习在人工智能中的非凡有效性

    深度学习网络在语音识别、图像描述和语言翻译等方面的高性能表现是由于它们利用高维空间的几何特性，然而它们究竟能否推广到实现全面的人工智能，以及和大脑规划和生存相关的其他区域的灵感还需做出重大突破。

    Feb, 2020

  • 自然语言理解中大型语言模型的快速学习：综述

    本文介绍了大型语言模型的概念、挑战和解决方法，着重关注了数据集偏差和简化学习对其抗干扰性的影响，提出了识别和缓解这些影响的方法，并探讨了未来可能的研究方向。

    Aug, 2022

  • 超越捷径：通过神经坍缩的视角进行无偏学习

    本文探讨了神经塌缩（Neural Collapse）现象在不平衡属性的偏倚数据集中的影响，提出了一种避免捷径学习的框架，通过设计神经塌缩结构的快捷方式引导模型，以捕捉内在的相关性，从而解决了偏倚分类的根本原因，实验证明该方法在训练过程中具有更好的收敛性能并在综合和真实世界的偏倚数据集上实现了最新的泛化性能。

    May, 2024