该论文通过经验性地考察训练在各种上下文类型中的时间问答（TQA）系统的鲁棒性，填补大型语言模型（LLM）在处理时态信息方面的不足，发现在涵盖相关、无关、稍微改动和无上下文的混合情况下训练，能增强模型的鲁棒性和准确性，并且问题先于上下文的位置布局有着明显影响。提出了两个新的上下文丰富的 TQA 数据集，ContextAQA 和 ContextTQE，并提供了全面的评估和指南，为培养鲁棒的 TQA 模型奠定了基础，对加强 LLM 在面对多样化和潜在对抗性信息时的鲁棒性具有广泛的影响。

Jun, 2024

该研究提出了一个名为 SearchQA 的数据集，该数据集用于机器理解和问答，并通过从 J! Archive 爬取的现有问题 - 答案配对及 Google 检索的文本片段进行扩充。在 SearchQA 中，包含了 14 万个问题 - 答案对，每个对平均包含 49.6 个片段。使用人类评估以及两种基准方法进行测试，研究显示了人类和机器表现之间的显著差距，表明所提出的数据集可作为问答的基准。

Apr, 2017

Open-domain Question Answering research investigates the generalization performance of a retrieval-augmented QA model, proposing Corpus-Invariant Tuning as an effective training strategy to mitigate knowledge over-memorization and achieve better generalizability.

Apr, 2024

本研究提出了一种基于对话的问答数据集 QuAC，其包含 14K 个信息寻求问答对话（共 100K 个问题），并且 QuAC 针对其他机器理解数据集中未发现的挑战进行了改进。我们在详细的定性评估中表明，QuAC 的问题通常更具开放性、难以回答或仅在对话上下文中有意义，还报告了许多参考模型的结果，包括最近被扩展为对话上下文模型的最先进的阅读理解体系结构。但是我们最好的模型仍然比人类表现差了 20 个 F1，这表明还有很大的未来工作空间。

Aug, 2018

本研究探讨如何通过自动翻译和排列组合技术将已有的数据资源应用到多语种的问答系统中，并进行深入分析和提出未来数据集开发的建议，以提高多语种问答系统的覆盖面。

May, 2021

给提问 - 回答模型提供场景的详细描述能够增强其推理能力，这可以通过一个名为 DREAM 的模型提供的场景描述来实现，该模型设计了专门的场景精化模块用于提供更准确、有用和一致的场景描述。

Dec, 2021

本文提出了构建一种基于时间敏感的问答数据集，用于评估长文档 QA 系统的时间推理能力，针对现有的 QA 数据集缺乏时序问题的问题，展示出当前现有的 SoTA QA 系统（如 BigBird 和 FiD）对于时间推理的能力仍不完备，在此基础上提出将该数据集作为开发更加敏感于时间推理的 NLP 模型的基准测试。

Aug, 2021

当前的视觉问答（VQA）模型倾向于在孤立的图像 - 问题对上进行训练和评估。然而，人们提出的问题取决于他们的信息需求和对图像内容的先前知识。为了评估如何将图像置于自然语境中以形成视觉问题，我们引入了 CommVQA，这个 VQA 数据集包括图像、图像描述、可能出现图像的现实沟通场景（例如旅行网站），以及依赖于场景的后续问题和答案。我们发现，CommVQA 对当前模型构成了挑战。向 VQA 模型提供情境信息可以广泛提高性能，凸显了将系统置于沟通场景中的相关性。

Feb, 2024

我们的研究针对现有的基于上下文的问答系统中存在的一系列问题，包括在模型参数知识与上下文冲突时缺乏对上下文的关注、对噪声的鲁棒性不足以及答案不一致性等。通过总结之前的一些已讨论过的以及新颖的需求，系统地评估了 15 个问答系统在 5 个数据集上的性能。实验结果表明，噪声敏感的系统在给定无关上下文的情况下答案一致性不一定更好，而噪声敏感度较高的系统更可能根据与其参数知识冲突的上下文正确回答问题。而冲突的知识和噪声的结合可能会导致系统性能降低高达 96%。因此，我们的需求分析有助于增加对这些模型工作原理的理解，并揭示了潜在的改进方向。

Jan, 2024

本研究针对基于检索的开放领域问答系统，探究多语言环境下文献信息不一致的问题，分析多语言开放领域问答模型的检索偏差，探讨文化差异和信息不一致性对模型的影响。

May, 2022