Apr, 2024

通过合成问题生成实现对话问答的一致性训练

PDF
TL;DR通过模型化历史信息，在对话问答（QA）环境中高效地处理用户查询至关重要。本文引入了一种新的模型无关方法，称为 CoTaH（一致性训练增强历史），利用合成问题增强历史信息，并通过一致性训练训练模型，使推理过程能够鲁棒地处理无关的历史信息。我们的模型在建模对话 QA 设置时，首次使用问题生成作为数据增强的形式，并通过引入一种常见的建模错误，提出了一个新的基准模型和对比实验，表明了结果的提升，特别是在处理包含大量历史背景的问题时。源代码可在我们的 GitHub 页面找到。
modeling historical informationconversational question-answering (qa)cotahdata augmentationcommon modeling error
发现论文，激发创造
  • 使用合成数据训练问答模型

    通过利用大型语言模型，研究了模型大小、预训练模型的质量、合成数据的规模和算法选择等多个因素，缩小了人工和合成问题 - 答案对之间的差距。该研究通过模型生成的数据，在 SQuAD 数据集上实现了良好的准确率，并在 SQuAD2.0 上显示出优于以前的工作的结果。

    Feb, 2020

  • 通过往返一致性生成合成问答语料库

    本研究介绍了一种通过结合问答生成和答案提取模型，过滤结果以确保往返一致性的方法生成合成问答语料库，并通过对生成数据的预训练在 SQuAD2 和 NQ 上达到了显著的改进，建立了新的最先进技术的状态。我们的合成数据生成模型，无论是问答生成还是答案提取，都可以通过在 SQuAD2 和 NQ 的可提取子集上微调公开可用的 BERT 模型来完全复制。我们还描述了一种更强大的变体，对于问答生成执行完整的序列到序列预训练，可以在 SQuAD2 上取得与人类表现相差小于 0.1％和 0.4％的完全匹配和 F1 值。

    Jun, 2019

  • 不让历史纠缠您 —— 缓解对话式问答中的复合误差

    本文针对谈话式问答（CoQA）任务中可能出现的由于模型先前的预测答案导致的错误累积问题，提出了一种采样策略，旨在在训练期间动态地在目标答案和模型预测之间进行选择，并分析了此现象的严重程度与问题类型，对话长度和域类型的关系。

    May, 2020

  • CoHS-CQG：面向对话问答生成的上下文和历史选择

    本研究提出了一种名为 CoHS-CQG 的两阶段交谈问答生成框架，其中采用 CoHS 模块来缩短输入的上下文和历史，以优化对话对齐属性。该模型在 CoQA 的答案感知和答案不感知情况下均取得了最先进的性能。

    Sep, 2022

  • 基于合成数据训练生成型问答模型

    通过使用一种简单且经济高效的方法来合成数据以训练问答系统，本文提供了一种在资源丰富的英语等语言中常用的微调 GPT 模型的培训方法，并提出了一种零样本或少样本情况下使用指导调优模型生成 QA 对的方法，并通过实验比较了从指导调优模型获得 QA 对的各种策略，结果表明，使用我们提出的合成数据训练的模型能够达到与手动策划数据集训练的模型相当的性能，而无需付出人力成本。

    Oct, 2023

  • 对话历史表示在对话问答中的鲁棒性：一项综合研究及新的基于提示的方法

    本文介绍了一个对于会话式问题回答系统的历史建模方法的鲁棒性研究。通过大规模的实验检测，发现高测试评分未必能转化为鲁棒性，而不同的方法在不同的设置下表现极不相同。因此，设计了一种基于提示的历史建模方法，实现了在不同环境下的强鲁棒性。希望本研究的结论会引起人们对鲁棒性的重视，从而创造出更好的会话式问题回答系统。

    Jun, 2022

  • 针对强鲁棒性视觉问答的反事实样本生成与训练

    介绍了一个新的模型 - 不可知模型 Counterfactual Samples Synthesizing and Training（CSST）模型，可以消除 VQA 模型的语言偏见，并使模型变得更加视觉可解释和对语言变化更敏感，并在所有 OOD 基准测试上取得了创纪录的表现。

    Oct, 2021

  • QADYNAMICS：基于动力学训练的零射击常识问答合成诊断

    利用 QADYNAMICS 框架，通过分析训练动态，从问题级别和选项级别剔除噪音，改进常识型问答合成的质量并在性能上超过基线模型。

    Oct, 2023

  • 问题生成的合成上下文生成

    通过使用大规模语言模型生成的合成上下文进行训练，研究表明，虚拟上下文在问句生成中具有类似实际上下文的效果，为未来该领域的进一步发展铺平了道路。

    Jun, 2024

  • 用填空翻译和一致性优化实现零样本通识常识问答

    本研究针对常识问题回答（Commonsense question answering）的挑战，提出了利用预训练语言模型中的 “隐含知识”，通过四种翻译方法，探索如何更好地调动语言模型中的常识知识。研究通过在零样本情况下对三个 CQA 数据集进行实验，证明了该方法对增强模型的性能十分有效，并且结合外部知识库进一步提高了模型性能。同时，文章还分析了各种填空翻译方法的不同特点和优缺点。

    Jan, 2022