May, 2020

不让历史纠缠您 —— 缓解对话式问答中的复合误差

PDF
TL;DR本文针对谈话式问答（CoQA）任务中可能出现的由于模型先前的预测答案导致的错误累积问题，提出了一种采样策略，旨在在训练期间动态地在目标答案和模型预测之间进行选择，并分析了此现象的严重程度与问题类型，对话长度和域类型的关系。
conversational question answeringcoqamodel predictionssampling strategyquestion type
发现论文，激发创造
  • CoQA: 一项面向对话的问题回答挑战

    本篇论文提出了一种建立对话式问答系统的新数据集 CoQA，包含来自七个不同领域的 8,000 个对话中 127,000 个具有答案的问题，分析表明，这些问题比现有的阅读理解数据集具有更多挑战性和难点，需要针对性的解决方案，评测结果显示目前最好的系统 F1 得分为 65.4％，仍然有大量的改进空间。

    Aug, 2018

  • 通过合成问题生成实现对话问答的一致性训练

    通过模型化历史信息，在对话问答（QA）环境中高效地处理用户查询至关重要。本文引入了一种新的模型无关方法，称为 CoTaH（一致性训练增强历史），利用合成问题增强历史信息，并通过一致性训练训练模型，使推理过程能够鲁棒地处理无关的历史信息。我们的模型在建模对话 QA 设置时，首次使用问题生成作为数据增强的形式，并通过引入一种常见的建模错误，提出了一个新的基准模型和对比实验，表明了结果的提升，特别是在处理包含大量历史背景的问题时。源代码可在我们的 GitHub 页面找到。

    Apr, 2024

  • 会话式问答中的加强问句重述技术

    使用强化学习训练重写模型，以 QA 反馈作为监督信号，能够有效提高抽取式和检索式问答中的性能，并且人工评估表明该方法能够生成更准确和详细的重写，优于人工注释。

    Oct, 2022

  • 面向会话问答的问题重写

    本论文介绍了一种分解对话问答任务的方法，包括问题重写和问题回答。通过引入一种新的对话 QA 架构和一个问题重写模型，证明了这种方法在 TREC CAsT 2019 建议检索数据集上已经达到了最新的技术水平，并在 QuAC 数据集中优于我们的基准模型。这个问题重写模型在两个数据集上的性能接近于人类的表现，而对话 QA 任务的终端性能差距主要是由于回答中的错误导致的。

    Apr, 2020

  • 会话问答内容理解的实证研究

    该论文研究基于对话问答模型中标准数据集对模型的语义理解能力的反应度以及对话内容对模型回答问题的影响，并指出了 QuAC 和 CoQA 两个常用数据集的一些 潜在问题及其存在的偏见。

    Sep, 2019

  • 面向端到端口语问答的数据蒸馏技术

    本研究提出了一种新的口头对话问答任务，能够使问答系统对给定的语音话语和文本语料库建模，其中使用了新的统一数据精炼方法 DDNet 直接融合音频文本特征以减少语音识别错误率，同时运用 Spoken-CoQA 数据集评估系统的对话式互动能力，并在实验中取得了优异的性能表现。

    Oct, 2020

  • 基于置信度校准和不确定性度量的现实对话问答与答案选择

    研究提出通过预测答案对话历史进行推理，并利用估计的置信度和不确定性过滤出不准确的答案， 最终将置信度和不确定性值进行校准，以此提高问答模型的性能表现。实验结果表明，该方法在两个标准 ConvQA 数据集上表现出了显著优于基线模型的效果。

    Feb, 2023

  • 端到端口语对话问答：任务，数据集和模型

    提出了一种新的口语会话问答任务（SCQA），旨在使系统能够模拟复杂的对话流程，以便处理音频记录中的对话式问题，并探索从不同模态提供更多线索，通过 DDNet 方法有效地摄取跨模态信息以实现语音和语言模态的细粒度表示，并通过双向关注机制鼓励更好的音频和文本之间的对齐，以简化知识转移过程。通过 Spoken-CoQA 数据集，证明了跨模态信息融合的必要性，同时证明了提出的方法在口语会话问答任务中具有卓越的性能表现。

    Apr, 2022

  • 对话式问答的提示引导式复制机制

    在本文中，我们提出了一种可插拔的抽取方法，引入了一种新的提示引导复制机制，以提高提取回答的流畅性和适切性。我们的方法使用提示来链接问题和答案，并利用注意力来指导复制机制，验证提取回答的自然性并进行必要的编辑，以确保回答流畅且适切。三个提示包括问题 - 理由关系提示、问题描述提示和对话历史提示，增强了复制机制的性能。我们的实验证明这种方法有效促进了自然回答的生成，并在 CoQA 挑战中取得了良好的结果。

    Aug, 2023

  • CoQAR: CoQA 上的问题重写

    提出使用问句重写作为预处理步骤来弥补人类在对话中提出的带上下文依赖但自动化系统无法理解的问题，使用人工标注的 CoQAR 语料库进行了实验，证明了该方法对于提高对话问答模型性能的有效性。

    Jul, 2022