Sep, 2022

机器阅读理解中推理捷径的测量与缓解调查

PDF
TL;DR本综述论文探讨了自然语言处理中普遍存在的快捷学习问题，侧重于机器阅读理解领域，总结了已有的快捷学习测量和减轻方法，并提出了缺乏公共挑战集合和其他领域突出的快捷学习方法对 MRC 的两个主要关注点。
shortcut learningnlpmachine reading comprehensionlanguage understandingmitigating shortcuts
发现论文，激发创造
  • 机器阅读理解模型为何学习捷径？

    本文研究了机器阅读理解 (MRC) 模型的学习过程，发现在训练数据中存在大量的提供快捷解决方案的问题，并且 MRC 模型倾向于优先学习快捷问题，而后期训练中高比例的快捷问题会阻碍模型深入探索复杂的推理技能。

    Jun, 2021

  • 引导 LLM 自欺：自动操纵机器阅读理解快捷触发器

    近期应用于机器阅读理解（MRC）系统的 LLMs 显示出了令人印象深刻的结果，但使用的快捷方式，即特征与真实标签表面相关的机制，已成为其可靠性的潜在威胁。我们从两个角度分析了问题：LLMs 作为编辑器，被引导编辑文本以误导 LLMs；LLMs 作为读者，根据编辑后的文本回答问题。我们引入了一个框架，指导编辑器在样本中添加可能的快捷方式触发器。使用 GPT4 作为编辑器，我们发现它能够成功编辑样本中欺骗 LLMs 的快捷方式触发器。分析 LLMs 作为读者，我们观察到即使是能力强大的 LLMs 也可以被快捷方式知识欺骗。令人惊讶的是，我们发现 GPT4 甚至被自己的编辑欺骗（F1 下降了 15%）。我们的发现凸显了 LLMs 对于快捷方式操作的固有脆弱性。我们发布了 ShortcutQA，这是一个由我们的框架生成的精选数据集，用于未来研究。

    Oct, 2023

  • 机器阅读理解的基准评测：心理学视角

    该论文提出了基于心理学和心理测量学的 MRC 数据集设计理论基础，要求未来的数据集应该评估模型构建上下文相关情境的合理和连贯的表示能力，并通过防止捷径的问题和解释来确保实质性有效性。

    Apr, 2020

  • 机器阅读理解：任务、评价指标和基准数据集综述

    本篇论文主要对机器阅读理解（MRC）领域中的任务、数据集、评估指标等方面进行综合调研和分析，发现现有 MRC 模型虽已超越人类在不同 benchmark 数据集的表现，但与真实的人类阅读理解能力仍存在很大差距，因此提出了一些未来的研究方向和关键问题。

    Jun, 2020

  • 教模型在理解文档后回答问题

    提出了一种两阶段知识蒸馏方法，通过将 MRC 任务分为两个单独阶段教导模型更好地理解文档，实验结果表明，使用该方法装备的学生模型具有显著的改进，证明了该方法的有效性。

    Jul, 2023

  • 多跳机器阅读理解方法全面调查

    本文综述了近年来一系列关于基于 31 项研究的多段式机器阅读理解方法的探索和研究成果，着重介绍了问题定义、模型技术，以及模型和技术之间的优缺点比较。

    Dec, 2022

  • 机器阅读理解可解释性调查

    本文系统评述了机器阅读理解中可解释性的基准和方法，并介绍了该领域中表示和推理挑战的演变以及解决这些挑战所采取的步骤。同时，我们还提出了评估解释性系统性能的方法，并确定了存在的开放性研究问题和未来工作的关键方向。

    Oct, 2020

  • 神经机器阅读理解：方法与趋势

    本文综述了深度学习在机器阅读理解 (MRC) 中的应用，包括典型的 MRC 任务、神经网络 MRC 的体系结构和新兴领域。文章指出了未来需要解决的问题。

    Jul, 2019

  • 机器阅读理解 Gold 标准评估框架

    本论文提出了一个统一框架来系统研究现有的语言特征、推理需求、背景知识和事实正确性以及词汇线索的存在。研究结果发现 MRC 数据存在词汇歧义、答案事实正确性的差异和词汇线索的存在，这些都可能降低阅读理解的复杂性和质量。

    Mar, 2020

  • 学习快速捷径：关于语言模型中自然语言理解的误导承诺

    大型语言模型在自然语言处理领域取得了重要的性能提升，然而近期的研究发现，这些模型在执行任务时往往使用了捷径，导致性能看起来得到了提升，却缺乏泛化能力。这一现象给大型语言模型的自然语言理解评估带来了挑战。本文对该领域的相关研究进行了简明调查，并提出了对于捷径学习在语言模型评估中的影响的观点，特别是对于 NLU 任务。本文呼吁加大对捷径学习的研究力度，促进更加强大的语言模型的开发，并提高在实际场景中的 NLU 评估标准。

    Jan, 2024