能否使用 NLP 模型 ' 识别 '，' 区分 ' 和' 证明 ' 没有明确答案的问题？

ACLSep, 2023

能否使用 NLP 模型 ' 识别 '，' 区分 ' 和' 证明 ' 没有明确答案的问题？

Can NLP Models 'Identify', 'Distinguish', and 'Justify' Questions that Don't have a Definitive Answer?

Ayushi Agarwal, Nisarg Patel, Neeraj Varshney, Mihir Parmar, Pavan Mallina...

TL;DR尽管最先进的自然语言处理（NLP）系统在各种语言理解任务上取得了显著的表现，但它们主要关注那些有正确和明确答案的问题。然而，在现实世界的应用中，用户经常会问一些没有明确答案的问题。最新研究表明，即使是 SOTA 模型（包括 GPT-3 和 Flan T5）在正确识别和回答这类问题上也表现不佳，远远落后于人类基准水平。本研究介绍了一个包含五类没有明确答案的问题的数据集 QnotA，同时提供了每个 QnotA 实例的一个可回答问题。我们通过综合实验表明，我们的工作和发现将鼓励和促进进一步在这一重要领域的研究，并有助于开发更健壮的模型。

Abstract

Though state-of-the-art (SOTA) NLP systems have achieved remarkable performance on a variety of language understanding tasks, they primarily focus on questions that have a correct and a definitive answer. However, in real-world applications, users often ask questions that don't have a definitive answer. Incorrectly answering such questions certainly hampers

sota models questions without definitive answers qnota dataset evaluation tasks robust models

发现论文，激发创造

基于 SQuAD 的神经问答模型比较分析

本文通过定量和定性分析现有端到端神经模型在斯坦福问答数据集上的结果，旨在理解和比较其特性，以迈向实现在多个领域中的泛化能力。研究发现，预测错误反映了某些模型特定偏差，本文对此进行了进一步讨论。

Jun, 2018

现代问答数据集和基准：一项调查

本文调查了在深度学习时代发布的有影响力的问答数据集，并介绍了文本问答和视觉问答两个最常见的问答任务，涵盖了最具代表性的数据集，并提出了当前的一些 QA 研究挑战。

Jun, 2022

端到端口语对话问答：任务，数据集和模型

提出了一种新的口语会话问答任务（SCQA），旨在使系统能够模拟复杂的对话流程，以便处理音频记录中的对话式问题，并探索从不同模态提供更多线索，通过 DDNet 方法有效地摄取跨模态信息以实现语音和语言模态的细粒度表示，并通过双向关注机制鼓励更好的音频和文本之间的对齐，以简化知识转移过程。通过 Spoken-CoQA 数据集，证明了跨模态信息融合的必要性，同时证明了提出的方法在口语会话问答任务中具有卓越的性能表现。

Apr, 2022

简单有效的半监督问答

本研究提出一种利用基础文档和少量标注数据进行深度学习提取式问答的方法，并通过对三个不同领域数据集的实验验证了其有效性。

Apr, 2018

知道你不知道什么：SQuAD 无法回答的问题

SQuAD 2.0 is a dataset that combines existing SQuAD data with over 50,000 unanswerable questions to test extractive reading comprehension systems' abilities to determine when no answer is supported, resulting in a challenging natural language understanding task for existing models that previously achieved only 66% F1 on SQuAD 2.0.

Jun, 2018

基于规则的开放域问答系统在 SQuAD v2.0 数据集上的设计与开发

本研究提出了一种基于规则的开放域问答系统，可以回答来自相关上下文的任何领域的问题，使用 1000 个问题的 SQuAD 2.0 数据集测试开发的系统表现满意，同时分析了性能。

Mar, 2022

利用生成 NQ 类问题来改进问答

本研究提出一种算法，利用数据集转换技术从长的 Trivia 问题转化为类似于日常人类交流的较短问题的方式，自动生成自然问题（NQ）数据集中的问题，同时使用神经分类器检测并去除不合法的问题，从而生成高质量的数据集，提高了 QA 表现，该算法在低资源环境下使用，扩展了 QA 系统的规模，同时保持了训练数据的质量。

Oct, 2022

什么是一个好问题？面向任务的问答与事实级屏蔽

大语言模型在解决任务时常常缺乏与用户或第三方进行追问的能力，导致其难以生成能够促进任务成功的问题。通过定义及框架，本研究提出了自然语言任务导向的追问方法，并通过自监督学习生成了追问数据集，实验证明当前的零样本模型在提问中相较于人工标注者存在提取有用信息的困难，为训练和评估更好的追问模型提供了机遇。

Oct, 2023

应用深度学习进行答案选择研究和开放任务

应用深度学习框架解决非事实类问答任务，在保险领域创建和发布了问答语料库，实验结果表明性能优于基线方法和其他技术，对于这个高度具有挑战性的任务，测试集的最高准确率可达到 65.3％，具有广泛的实用潜力。

Aug, 2015

ASQA：事实问题遇见长篇回答

本文提出了一个名为 ASQA 的任务，旨在回答需要深入解释的问题，并提出了一个在 ASQA 上测量表现的可靠度量标准，以及释放了一个新的数据集，用于解决长期问答任务中仍然存在的高质量数据缺乏和答案质量定义模糊的问题。

Apr, 2022