Jan, 2023

问答生成模型中屈折形式是冗余的

PDF
TL;DR本文研究了现有 RNN-based 和预训练语言模型在提问生成中使用 encoder-decoder 架构的性能问题，在此基础上提出了利用词形变换来改善提问生成性能的方法，并在 SQuAD 和 MS MARCO 数据集上进行实验证明，相比对应基线方法，改进后的方法在 BLEU、ROUGE-L 和 METEOR 指标以及时间成本方面都有显著提高。
question generationencoder-decoder frameworkinflected formsword transformationrnn-based model
发现论文，激发创造
  • 利用 Transformer 语言模型简化段落级问题生成

    Question generation is a natural language generation task that can be achieved with a single Transformer-based unidirectional language model, which outperforms QG baselines and produces high-quality questions that are relevant to their context paragraph and easy to answer, utilizing transfer learning without relying on auxiliary data.

    May, 2020

  • 基于统一查询的生成模型，用于问题生成和问题回答

    我们提出了一种基于查询的生成模型，用于解决问题生成和问题回答两个任务， 在查询理解方面，该模型使用经典的编码器 - 解码器框架，通过与多个角度的文章进行匹配来执行查询理解。在进行培训时，我们利用政策梯度强化学习算法来克服暴露偏差，这是由于交叉熵损失的序列学习而引起的主要问题。

    Sep, 2017

  • 对话问答模型的强化重述生成之稳健训练

    通过我们提出的 REIGN 框架，我们通过多种步骤来解决面对表面形式变化的局限性学习环境，其中包括系统生成训练问题的改写，通过深度强化学习改善问答模型的性能，以及在一个基准测试集上训练模型并应用于另一个。我们通过大量多样的改写生成评测数据的方式对训练模型的鲁棒性进行了严格评估，结果显示，通过改写生成的训练方法的对话问答模型明显优于只使用金标准问答对进行标准训练的模型。

    Oct, 2023

  • 意图保持改写的意义和形式分解

    本文提出一种方法，使用变分自动编码器将问题表示为一个潜在编码空间，从而解决了语义保留和句法创新之间的平衡问题，并使用分类器和 Vector-Quantized 变分自动编码器选择不同的表面形式进行英语问题的改写。

    May, 2021

  • 具有句法信息的异构图变换器问答

    本研究探讨了如何在不需要从头开始的情况下，在预训练的神经语言模型中添加显式的语言学信息，以提高其性能，并提出了一种基于转换器的神经语言模型，通过异构图转换器对模型进行扩展和微调，这可以通过添加句法信息来实现，而基于斯坦福问答数据集的实证性能评估表明了该方法的竞争性。此方法包括语义和语用方面的信息，具有可扩展性。

    Apr, 2022

  • 生成高度相关的问题

    通过部分复制和 QA-based reranker，我们提出了两种方法来提高神经序列到序列的问题生成模型的生成问题与给定段落和答案相关性的准确性。

    Oct, 2019

  • ConvGQR: 面向对话搜索的生成查询改写

    本文提出了 ConvGQR 的框架，该框架基于生成预训练语言模型，一种用于查询重写，另一种用于生成潜在答案。通过结合两者，ConvGQR 可以产生更好的搜索查询。此外，我们提出了一种知识注入机制来优化查询重写和检索，实验表明 ConvGQR 的有效性。

    May, 2023

  • 在没有统一形态的情况下的屈折变化：编码器 - 解码器神经网络在德语复数中的认知模型的局限性

    通过研究人类和 Encoder-Decoder 模型在英语和德语动词词形和名词复数形式的记忆和推广的行为，我们发现现代神经模型可能仍然难以适应少数种类的推广。

    May, 2020

  • 统一化连续终身学习问句生成

    提出了一种名为 Unified-QG 的模型，它基于终身学习技术，可以跨不同数据集和格式不断地学习 QG 任务，并用 STRIDER 方法来减轻连续 QG 学习中的灾难性遗忘，实验证明 Unified-QG 可以有效地适应 QG 任务，提高 QA 系统性能。

    Jan, 2022

  • 利用文本结构知识增强预训练模型用于问句生成

    研究表明，采用预训练模型生成问题 (QG) 任务可以显著优于传统的序列对序列方法，但是这些模型对于输入的文章缺乏文本结构的认识。为了克服这个问题，我们将文本结构模拟为回答位置和句法依赖性，提出回答局部性建模和句法遮盖自注意力机制。实验表明，这两个模块可以改进预训练模型 ProphetNet 的性能，并将它们结合在一起可以达到现有最先进预训练模型的竞争性结果。

    Sep, 2022