ACLJan, 2024

问答系统在上下文使用中的期望

PDF
TL;DR我们的研究针对现有的基于上下文的问答系统中存在的一系列问题，包括在模型参数知识与上下文冲突时缺乏对上下文的关注、对噪声的鲁棒性不足以及答案不一致性等。通过总结之前的一些已讨论过的以及新颖的需求，系统地评估了 15 个问答系统在 5 个数据集上的性能。实验结果表明，噪声敏感的系统在给定无关上下文的情况下答案一致性不一定更好，而噪声敏感度较高的系统更可能根据与其参数知识冲突的上下文正确回答问题。而冲突的知识和噪声的结合可能会导致系统性能降低高达 96%。因此，我们的需求分析有助于增加对这些模型工作原理的理解，并揭示了潜在的改进方向。
context-based question answeringattentionrobustnessconsistencydesiderata
发现论文，激发创造
  • NoiseQA: 以用户为中心的问答挑战数据集评估

    本文研究 Question-Answering 系统在实际部署中的问题，发现在回答引擎之前的管道部件可能会引入多样化且可观的错误，而且即使是针对强大的预训练 QA 模型，性能也会因为这些上游噪声源而显著降低。作者认为在 QA 系统能够真正有效部署之前，还有很大的改进空间。因此，他们强调 QA 评估需要扩展到考虑实际使用情况，并希望他们的研究结果能引起更广泛的关注。

    Feb, 2021

  • 上下文的重要性：对时间问答系统中上下文信息影响的实证研究

    该论文通过经验性地考察训练在各种上下文类型中的时间问答（TQA）系统的鲁棒性，填补大型语言模型（LLM）在处理时态信息方面的不足，发现在涵盖相关、无关、稍微改动和无上下文的混合情况下训练，能增强模型的鲁棒性和准确性，并且问题先于上下文的位置布局有着明显影响。提出了两个新的上下文丰富的 TQA 数据集，ContextAQA 和 ContextTQE，并提供了全面的评估和指南，为培养鲁棒的 TQA 模型奠定了基础，对加强 LLM 在面对多样化和潜在对抗性信息时的鲁棒性具有广泛的影响。

    Jun, 2024

  • SituatedQA: 将额外的语境纳入 QA 中

    本研究提出了一个开放式检索问答数据集 SituatedQA，旨在研究在不同时间和地点提出相同问题的语境下，答案是否会发生变化。通过构建该数据集并对现有模型进行实验，发现模型对于更新频繁或少见地点的答案产生困难，同时模型对于过去采集的数据无法在新问答中适应，因此建议将 extra-linguistic context 纳入开放式检索 QA 评估标准中。

    Sep, 2021

  • DisentQA：使用反事实问答解开参数化和语境知识的混淆

    该研究提出了一种新的 QA（Question Answering）模型范式，通过引入反事实数据增强的方式，使模型能够预测基于给定语境知识和基于参数化知识的两种答案，从而改善模型的鲁棒性和生成有用的无关答案。

    Nov, 2022

  • 基于上下文关注机制的口语会话问答知识转移

    该研究提出了一种名为 CADNet 的方法，该方法使用上下文化注意力分层蒸馏技术，从而在 SCQA 任务中更好地抵御 ASR 噪声，最终在 Spoken-CoQA 数据集上实现了显著性能提升。

    Oct, 2020

  • 多选题问答系统的期望

    本研究对最近在多项选择题回答（MCQA）数据集中取得高分的模型进行扰动实验，发现其表现不符合语言理解的人类期望，提出了一种新的训练方法，使模型更好地学习输入数据并使模型性能更好。

    Nov, 2020

  • 评估问答系统：评判自然语言的复杂性

    本文针对问答系统的发展历程、评估指标及其相应的理论框架进行综述，并探讨了相关的评估方法和数据集。

    Sep, 2022

  • 一种上下文感知的交互问答注意力网络

    该研究开发了一种基于上下文依赖词级别注重和问题引导的句子级别注意力的新型模型，以更准确地理解文本，加强上下文建模，可以在交互式问答场景中处理不完整或模糊信息，大大提升了传统 QA 模型的表现。

    Dec, 2016

  • 高效鲁棒的基于极小上下文的文档问答

    该研究探讨了答题所需的最小上下文，并提出了一种简单的句子选择器用于选择最小的句子来喂养问答模型，以实现训练和推理时间的显著减少并提高精度，并且更加鲁棒。

    May, 2018

  • 通过子部分对齐实现鲁棒的问答

    提出一种将问题回答建模为一种对齐问题的结构支持向量机方法，通过将问题和上下文分解成基于语义角色的单元，并将问题与上下文的子图进行对齐以找到答案，该模型可用于跨领域问题回答，且通过对齐得分派生出的限制使模型更加鲁棒。

    Apr, 2020