May, 2020

利用 Transformer 语言模型简化段落级问题生成

PDF
TL;DRQuestion generation is a natural language generation task that can be achieved with a single Transformer-based unidirectional language model, which outperforms QG baselines and produces high-quality questions that are relevant to their context paragraph and easy to answer, utilizing transfer learning without relying on auxiliary data.
question generationnatural language generationtransformer-based language modelstransfer learningsquad dataset
发现论文，激发创造
  • 段落级问题生成的生成式语言模型

    通过引入 QG-Bench，这是一个多语种，多域基准，对现有的问答数据集进行转换，提出了鲁棒的 QG 基准和基于精细调整的生成语言模型，并对其进行了有效性和适应性分析。

    Oct, 2022

  • 通过摘要信息生成问题提高无监督问答

    本文提出一种基于无监督学习的问句生成方法，使用自由可得的新闻标题数据通过句法分析、命名实体识别和语义角色标注启发式技术转换成合适的问题，然后与原始新闻文章一起训练一个端到端的神经问句生成模型；通过在多项数据集上的实验证明，该方法生成的人工智能数据集用于训练问答模型，其性能远超过基于无监督学习的问答模型的现有成果。

    Sep, 2021

  • ParaQG: 从段落生成问题和答案的系统

    本文介绍了 ParaQG, 一种基于序列到序列技术的 Web 服务，通过交互式界面，从句子和段落中生成问题，并利用多种分组和过滤技术使生成问题的过程用户友好化。

    Sep, 2019

  • 评估问题生成需要更多参考文献

    提出使用 GPT-3 等大型语言模型来进行问题生成并采用多个（伪）参考答案进行评估，以更全面地评估 QG 技术潜力的方法。实验结果表明，使用多个参考答案进行 QG 评估比使用单个参考答案更为有效，并且更能与人类评估相符合。

    May, 2023

  • 解决半监督问答中的语义漂泊问题

    本研究提出了一种基于语义加强的奖励机制和基于 QA 的评估方法，用于解决问题生成中的语义漂移问题，并解决传统评价指标不足的问题，同时提出了两种合成 QA 对的方法，有效的用于半监督 QA 学习中。

    Sep, 2019

  • 基于统一查询的生成模型，用于问题生成和问题回答

    我们提出了一种基于查询的生成模型，用于解决问题生成和问题回答两个任务， 在查询理解方面，该模型使用经典的编码器 - 解码器框架，通过与多个角度的文章进行匹配来执行查询理解。在进行培训时，我们利用政策梯度强化学习算法来克服暴露偏差，这是由于交叉熵损失的序列学习而引起的主要问题。

    Sep, 2017

  • 基于 LM 的问答生成方法的实证比较

    本文旨在建立三种不同的 QAG 方法的基线，利用序列到序列语言模型进行微调。实验证明，一种端到端的 QAG 模型，它在训练和推理时计算量都很轻，通常是稳健的，并且胜过其他复杂的方法。然而，这取决于底层生成模型的不同。最后，我们的分析表明，仅基于生成的问答对微调的 QA 模型可以与人类标注数据上训练的监督 QA 模型具有竞争力。

    May, 2023

  • 学习提问以回答问题：获取 GPT-2 和 BERT 的最大优势

    本文利用变压器模型和深度神经网络提出了一种有效的自动生成问题的方法，并通过 SQuAD 1.1 数据集实验证明所提出的模型可以产生语义正确且多样化的问题，并且在半监督学习中表现优异，为小数据领域内的问题生成提供了强大的支持。

    Nov, 2019

  • 基于强化学习的图转序列模型用于自然语言问题生成

    本篇文章提出了基于强化学习 (Graph2Seq) 模型的问题生成方法，该模型利用双向门控图神经网络作为 encoder 嵌入文章，并混合应用交叉熵损失和 RL 损失来确保生成语法和语义合理的文本。此外，文章还介绍了一种有效的深度对齐网络，将答案信息融合到文章中。该模型的端到端训练在标准 SQuAD 基准测试中取得了明显的最优成绩，超过了现有方法。

    Aug, 2019

  • 生成高度相关的问题

    通过部分复制和 QA-based reranker，我们提出了两种方法来提高神经序列到序列的问题生成模型的生成问题与给定段落和答案相关性的准确性。

    Oct, 2019