Aug, 2022

ShortcutLens：一种用于探索自然语言理解数据集中快捷方式的可视化分析方法

PDF
TL;DR本文提出了一种名为 ShortcutLens 的可视化分析系统，帮助 NLU 专家探索 NLU 基准数据集中的捷径，该系统允许用户进行多层次的捷径探索，包括统计视图、模板视图和实例视图，研究结果表明 ShortcutLens 支持用户更好地了解基准数据集中的捷径问题，激励他们创建具有挑战性和相关性的基准数据集。
发现论文，激发创造
  • 针对自然语言理解模型的捷径学习行为进行解释和缓解

    本文研究表明，NLU 模型倾向于依赖于快捷特征进行预测，而不是真正理解语言。我们发现 NLU 训练集中的单词可以被建模为长尾分布，进一步提出了一种量化每个训练样例快捷程度的方法，并基于此提出了一个缓解快捷特征对模型训练的影响的框架 LTGR，实验结果表明这种方法可以提高模型对 OOD 数据的泛化能力，同时保持在分布数据上的准确性。

    Mar, 2021

  • 语言模型先验不是唯一的捷径：一项视觉问答中捷径学习的基准测试

    为了解决 VQA 模型容易学习数据集偏见而非预期解决方案的问题，提出了一个考虑不同类型快捷方式构建不同分布变化的新数据集，并克服了在使用 VQA-CP v2 时出现的三种问题，提供了更严格和全面的测试环境。研究表明，特定快捷方式的方法无法同时适用于多个 OOD 测试集。

    Oct, 2022

  • 视觉语言表示学习中的展示和减少快捷方式

    基于对比训练的视觉语言模型主要依赖于学习图像和标题的通用表示。本文提出了一种新的训练和评估框架，注入了合成的快捷方式来减少学习中的难度和挑战，以改善对比视觉语言表示学习的性能。

    Feb, 2024

  • 学习快速捷径：关于语言模型中自然语言理解的误导承诺

    大型语言模型在自然语言处理领域取得了重要的性能提升，然而近期的研究发现，这些模型在执行任务时往往使用了捷径，导致性能看起来得到了提升，却缺乏泛化能力。这一现象给大型语言模型的自然语言理解评估带来了挑战。本文对该领域的相关研究进行了简明调查，并提出了对于捷径学习在语言模型评估中的影响的观点，特别是对于 NLU 任务。本文呼吁加大对捷径学习的研究力度，促进更加强大的语言模型的开发，并提高在实际场景中的 NLU 评估标准。

    Jan, 2024

  • 自然语言理解中大型语言模型的快速学习：综述

    本文介绍了大型语言模型的概念、挑战和解决方法，着重关注了数据集偏差和简化学习对其抗干扰性的影响，提出了识别和缓解这些影响的方法，并探讨了未来可能的研究方向。

    Aug, 2022

  • 大型语言模型合成文本数据集的语言多样性可视化

    本研究提出了一款交互式可视化工具 LinguisticLens，通过对大语言模型生成的数据集的句法多样性进行聚类，用户可以快速检查数据集的总体情况并检查单个示例。

    May, 2023

  • ShortcutsBench：一个基于 API 的代理的大规模现实世界基准测试

    该研究论文介绍了一个名为 ShortcutsBench 的大规模基准测试，用于评估基于 API 的代理程序在解决具有不同难度级别、任务类型和真实需求的任务中的性能。通过使用 5 个主流开源的以及 4 个闭源的大型语言模型进行实验，发现基于 API 的代理程序在处理与 API 选择、参数填充以及系统和用户请求必要信息相关的复杂查询时存在显著的局限性。

    Jun, 2024

  • 使用语法归纳寻找数据集快捷方式

    本文提出使用概率语法学习发掘 NLP 数据集中的 shortcut，同时也展示这些 features 能够帮助分类器提高最坏组的准确性。

    Oct, 2022

  • DNNs 会选择哪些快捷提示？—— 基于参数空间的研究

    本文介绍了一系列实验来深入理解深度神经网络中的快捷学习和其影响。作者设计了一种学习 WCST-ML 的训练过程，证明了在相同的机会下某些提示优先于其他提示，这可以通过 Kolmogorov 复杂度来解释。作者的研究基于 DSprites 和 UTKFace 数据集，强调了消除模型偏见的重要性。

    Oct, 2021

  • 发现高影响力的捷径推理：一种自动无模板方法

    通过使用超出分布数据的方法，我们提出了一种识别快速推理的新方法，该方法不仅可以量化快速推理的严重程度，还不需要假设触发快速推理的令牌类型。我们在自然语言推理和情感分析方面的实验中成功地发现了之前研究中已知和未知的快速推理。

    Dec, 2023