COLINGNov, 2020

探究生成深度问题的问题特定奖励

PDF
TL;DR通过强化学习优化针对问题产生特定目标的奖励，如流畅性、相关性和可回答性，以提高生成问题的质量。优化问题特定的奖励通常会在自动评估指标中表现出更好的性能，但是，仅与人类判断相关的奖励（例如相关性）会在实际问题质量上带来真正的改善。只优化可回答性等其他问题会引入模型的错误偏见，导致质量差的问题。
question generationsequence-to-sequencereinforcement learningfluencyrelevance
发现论文，激发创造
  • 评估问题生成模型的奖励

    该研究采用强化学习方法，使用 policy gradient methods 对质量度量进行直接优化，以解决 Seq2Seq 架构中 exposure bias 导致的错误扩散，从而提高问题生成的质量。同时发现先前被认为是好的指标实际上与人类判断不太相关。

    Feb, 2019

  • 基于强化学习的图转序列模型用于自然语言问题生成

    本篇文章提出了基于强化学习 (Graph2Seq) 模型的问题生成方法，该模型利用双向门控图神经网络作为 encoder 嵌入文章，并混合应用交叉熵损失和 RL 损失来确保生成语法和语义合理的文本。此外，文章还介绍了一种有效的深度对齐网络，将答案信息融合到文章中。该模型的端到端训练在标准 SQuAD 基准测试中取得了明显的最优成绩，超过了现有方法。

    Aug, 2019

  • 生成高度相关的问题

    通过部分复制和 QA-based reranker，我们提出了两种方法来提高神经序列到序列的问题生成模型的生成问题与给定段落和答案相关性的准确性。

    Oct, 2019

  • 基于强化学习的图到序列模型的自然问句生成

    本文提出了一种基于强化学习的图到序列模型，以生成语法和语义正确的自然问题，并取得了 SQuAD 数据集上大幅领先于之前最先进的方法的效果。

    Oct, 2019

  • EAGER: 语言指导强化学习中自动奖励塑造的问答

    本文中，我们使用问题生成和问题回答系统来提取辅助目标，从而实现针对自身解决问题的能力，从而提高了自动奖励塑造方法的采样效率。

    Jun, 2022

  • 将马放在车前：一种从文本生成问题的生成器 - 评估框架

    采用新颖的生成 - 评估框架，结合结构和语义优化自动生成问题，采用生成器和评估器模型，引入复制和覆盖机制，提出两个新的针对 QG 特定的奖励函数，综合利用 BLEU，GLEU 和 ROUGE-L 等评价指标，在 SQuAD 基准测试上，相较于最先进的系统，自动和人工评估都表现出更好的性能。

    Aug, 2018

  • 通过文本到文本神经问题生成的机器理解

    本文提出了一种基于递归神经网络的模型，可以根据答案生成自然语言问题，并介绍了一种使用监督学习和强化学习相结合的方式对模型进行训练，然后通过策略梯度技术微调模型以最大化几个衡量问题质量的奖励，其中一个奖励是一个问题回答系统的表现，并通过最近的问答数据集 SQuAD 对模型进行了训练和评估。

    May, 2017

  • 将问答与问题生成视为对偶任务

    本论文针对问题回答和问题生成两个任务之间内在联系，提出一个联合训练框架，使用序列到序列模型和循环神经网络模型，通过概率相关性指导训练过程来提高两个任务的性能，实验证明该框架能够显著提高问题回答和问题生成两个任务的表现。

    Jun, 2017

  • 强化多任务方法用于多跳问题生成

    使用多任务学习和强化学习的方法，通过支持事实的多次跳转生成相关问题，相比于单次跳转模型，我们的模型在 HotPotQA 数据集上表现更好（同时在自动评估指标如 BLEU、METEOR 和 ROUGE 以及人工评估指标中都有着更高的质量和覆盖率）。

    Apr, 2020

  • 结合问题感知的语义奖励的强化学习在摘要式问题总结中的应用

    本文提出了一种基于强化学习的抽象式问题摘要框架，该框架通过 downstream 任务中的问题类型识别和问题重点识别得到两个新颖的奖励来规范问题生成模型，从而确保问题摘要的语义有效并鼓励包含关键的医疗实体 / 重点。作者在两个基准数据集上对其所提出的方法进行了评估，并取得了比现有模型更高的性能。手动评估总结结果表明生成的问题更具多样性且不具备基线总结的不准确性。

    Jul, 2021