Dec, 2023

GSQA：生成式口语问答的端到端模型

PDF
TL;DR近期关于口语问答方面的研究表明，最新的端到端模型在提问回答方面取得了显著的进展，尤其是在提取性问题的选择上。然而，先前的研究主要集中在提取性问题上，这种基于提取的方法在直接提取答案的情况下是有效的，但在涉及抽象问题且答案不可直接提取的情况下则存在不足。为了弥补这一差距，我们首次引入了第一个端到端生成式口语问答模型（GSQA），以增强系统的抽象推理能力。我们的 GSQA 模型训练的挑战在于缺乏口语抽象问答数据集。我们建议使用文本模型进行初始化，并利用基于提取的问答数据集将文本生成模型的知识转移到口语生成模型上。实验结果表明，我们的模型在基于提取的问答数据集上的性能超过了先前的提取性模型 3％。此外，GSQA 模型仅在口语提取性问答数据集上进行了微调。尽管没有见过任何口语抽象问答数据，它仍然能够与级联模型的性能高度匹配。总而言之，我们的 GSQA 模型展示了到广泛问题范围的泛化潜力，从而进一步扩展了抽象问答的口语问答能力。
spoken question answeringend-to-end modelsgenerative spoken question answering (gsqa)abstractive reasoningextractive qa dataset
发现论文，激发创造
  • 端到端口语对话问答：任务，数据集和模型

    提出了一种新的口语会话问答任务（SCQA），旨在使系统能够模拟复杂的对话流程，以便处理音频记录中的对话式问题，并探索从不同模态提供更多线索，通过 DDNet 方法有效地摄取跨模态信息以实现语音和语言模态的细粒度表示，并通过双向关注机制鼓励更好的音频和文本之间的对齐，以简化知识转移过程。通过 Spoken-CoQA 数据集，证明了跨模态信息融合的必要性，同时证明了提出的方法在口语会话问答任务中具有卓越的性能表现。

    Apr, 2022

  • 面向端到端口语问答的数据蒸馏技术

    本研究提出了一种新的口头对话问答任务，能够使问答系统对给定的语音话语和文本语料库建模，其中使用了新的统一数据精炼方法 DDNet 直接融合音频文本特征以减少语音识别错误率，同时运用 Spoken-CoQA 数据集评估系统的对话式互动能力，并在实验中取得了优异的性能表现。

    Oct, 2020

  • 基于预训练生成模型的问题回答适应性

    本文介绍了一种新颖的方法，利用预训练的生成模型来解决抽取式問答任务，通过生成与回答的上下文标记或句子相对应的索引，实现了在多个抽取式問答数据集上优于现有 state-of-the-art 模型的卓越性能。

    Nov, 2023

  • 问答生成模型

    本研究通过使用编码 - 解码模型，结合复制机制和覆盖向量维护，实现了生成式问答，并在 MS-MARCO 数据集上验证了该方法的出色表现。

    Nov, 2017

  • 神经生成式问答

    本文提出了一个名为 Neural Generative Question Answering（GENQA）的端到端神经网络模型，可以根据知识库中的事实生成简单问答问题的答案。通过对问题答案对的语料库进行训练，该模型可有效处理问题和答案的变化，并通过参考知识库中的事实生成正确自然的答案，且在问题回答方面的实验证明该模型优于基于嵌入式的 QA 模型和在相同数据上训练的神经对话模型。

    Dec, 2015

  • 医学领域零射击端到端口语问答

    通过在医学领域中探索端到端方法，我们引入了一种新颖的零 - shot 问答方法，与传统的级联系统相比，我们的方法在 8 个医学任务和 48 小时合成音频的全面评估中，相对于一个带有 1.3B 参数 LLM 和 1.55B 参数 ASR 模型的组合模型，节约资源高达 14.7 倍，同时提高了 0.5% 的平均准确性，凸显了端到端方法在资源受限环境中进行口述问答的潜力。

    Jun, 2024

  • SpeechBERT：一个用于端到端口语问答的音频和文本联合学习语言模型

    该研究提出了一种基于音频和文本联合训练的 SpeechBERT 模型，通过端对端地提取语音信息，解决了端到端口语问答任务中音频转换文本出现的问题，并且在包括 ASR 错误的数据集中表现出优异的性能。该模型可以为许多口语理解任务提供潜在的借鉴，其效果优于传统的级联 ASR 和 TQA 模型的方法。

    Oct, 2019

  • 基于统一查询的生成模型，用于问题生成和问题回答

    我们提出了一种基于查询的生成模型，用于解决问题生成和问题回答两个任务， 在查询理解方面，该模型使用经典的编码器 - 解码器框架，通过与多个角度的文章进行匹配来执行查询理解。在进行培训时，我们利用政策梯度强化学习算法来克服暴露偏差，这是由于交叉熵损失的序列学习而引起的主要问题。

    Sep, 2017

  • 利用自动问答评估器的监督学习答案生成

    本研究通过提出一种新的 GenQA 训练范式，利用自动 QA 评估模型（GAVA）中的监督进行知识转移，比以往的基于 AS2 模型的抽取式 QA 方法有更高的准确率，方法包括：用由 GAVA 标记的 GenQA 模型生成的答案增加训练数据，使用 GAVA 分数加权生成器损失以及动态标记生成的答案。

    May, 2023

  • 基于注意力引导的生成模型用于抽取式问答

    本文提出了一种新的方法，利用 Transformer 模型进行抽取式问答。该方法利用预训练的生成式模型，并结合内部 cross-attention 机制实现了良好的表现，同时使用较少的参数，使模型能够进行幻觉式推断，并提高模型重排相关段落的能力。

    Oct, 2021