使用多任务学习在众包数据集中确定问题 - 回答的可信度

EMNLPNov, 2020

使用多任务学习在众包数据集中确定问题 - 回答的可信度

Determining Question-Answer Plausibility in Crowdsourced Datasets Using Multi-Task Learning

Rachel Gardner, Maya Varma, Clare Zhu, Ranjay Krishna

TL;DR这项工作通过提出一种新的任务，即自动化的质量分析和数据清洁来收集高质量的社交媒体问答数据集，并使用基于 BERT 的模型进行了评估。我们的最佳方法包括一个单任务模型和一个多任务模型，可以确定问题和响应的合理性，并提取回答。

Abstract

Datasets extracted from social networks and online forums are often prone to the pitfalls of natural language, namely the presence of unstructured and noisy data. In this work, we seek to enable the collection of high-quality →

social networks question-answer datasets data cleaning bert-based models answer extraction

发现论文，激发创造

现代问答数据集和基准：一项调查

本文调查了在深度学习时代发布的有影响力的问答数据集，并介绍了文本问答和视觉问答两个最常见的问答任务，涵盖了最具代表性的数据集，并提出了当前的一些 QA 研究挑战。

Jun, 2022

AmazonQA：一项基于评论的问答任务

该研究提出了基于评论的问答系统，并介绍了一个新的数据集和结合信息检索和阅读理解模型的方法以生成答案。研究评估了许多答案生成模型并提出了强有力的基线，证明了这个新任务的挑战性。

Aug, 2019

评估开放式问答系统评估

本研究针对认知智能领域中的 Open Question Answering 任务进行评估，提出了 QA Evaluation 任务和相应的数据集，在考虑到自动评估方法的局限性的基础上，采用人工评估来更准确地衡量基于人工智能的答案的准确性和 F1 分数，并研究表现高度相关且更可靠的评估方法以及当前方法的缺陷，最终生成的数据集有望促进更有效的自动评估工具的发展。

May, 2023

ExpertQA: 专家策划的问题及答案

验证与归因对于领域特定的语言模型在高风险领域中提供准确信息至关重要，本研究通过领域专家的参与，对领域特定的语言模型生成的回答进行事实性和归因方面的评估研究，并构建了包含 32 个领域，2177 个问题以及验证答案和归因的高质量长型问答数据集 ExpertQA。

Sep, 2023

ClarQ：一个大规模且多样化的澄清问题生成数据集

通过基于自监督的新型启动框架，从 stackexchange 中提取 post-comment 元组，利用神经网络分类器构建了一个多样化、大规模的澄清问题数据集。将该数据集应用于问题回答的下游任务的实验表明其效用，并放出名为 ClarQ 的含 173 个领域的 2M 个实例的数据集。其目的是促进澄清问题生成的研究，以提升对话和问题回答系统。

Jun, 2020

MythQA: 基于查询的大规模检查值得怀疑的主张检测通过多答案开放域问答

提供可疑的虚假信息以供事实核查系统或专家核查，通过引入 MythQA 任务，包括多答案开放领域问答、针对基于查询的大规模检测值得核查的虚假声明的对立立场挖掘，构建了 TweetMythQA 数据集进行研究，提供基准系统并评估现有的自然语言处理模型，为未来模型的改进提供了关键挑战。

Jul, 2023

ReviewQA：一个基于关系和方面的意见阅读数据集

本文介绍了一种基于酒店评论的问题回答数据集 ReviewQA，旨在评估模型的关联理解和能力，并提供了几种基线模型的实现。

Oct, 2018

ASQA：事实问题遇见长篇回答

本文提出了一个名为 ASQA 的任务，旨在回答需要深入解释的问题，并提出了一个在 ASQA 上测量表现的可靠度量标准，以及释放了一个新的数据集，用于解决长期问答任务中仍然存在的高质量数据缺乏和答案质量定义模糊的问题。

Apr, 2022

ZusammenQA：专用模型数据增强的跨语言开放检索问答系统

该论文提出了一种用于 COQA 多语言问题解答的系统，该系统使用多种模型变体在数据增强、语段检索和答案生成三个主要组件上进行了研究，并结合语言模型预训练和数据增强等方法有效提高了针对低资源语言的表现。

May, 2022

学习解释：多跳问答中识别有效推理链的数据集和模型

本研究引入了三种不同类型的解释数据集，发现基于 BERT 分类器的方法能够显著提高解释质量，同时通过使用广义推理链，使得对某些扰动更具鲁棒性。

Oct, 2020