May, 2022

具备前处理和后处理流程的问题 - 答案对下游 Transformer 生成

PDF
TL;DR使用 TP3 系统，通过预训练 Transformers 在 SQuAD 数据集上进行微调，进行自动提取合适的答案和生成高质量 QAPs，以 Gaokao-EN 数据集验证。
tp3transformersqapspretrainedsquad
发现论文，激发创造
  • 自动生成多项选择题

    提出了使用深度学习方法和序列学习方法生成阅读理解中多项选择题的解题方法，包括问题生成和干扰项生成。通过多种自然语言处理技术的组合，这些方法可以在未见数据上表现良好。

    Mar, 2023

  • 生成、注释并使用合成数据的管道以用于现实世界中的问答

    本文介绍了如何使用合成领域特定数据集来改进问答的性能，通过实验表明使用该方法 fine-tune 下游模型的表现得到了显著的提升。

    Nov, 2022

  • 端到端合成数据生成用于问答系统领域自适应

    本篇论文提出了一种用于合成问答数据生成的端到端方法，该模型包括一个基于 transformer 的编码器解码器网络，能够训练生成答案和问题，并且通过微调预训练的语言模型进行训练，实验结果表明，在领域适应的 QA 模型中，该生成器显著优于当前最先进的方法。

    Oct, 2020

  • 基于 Transformer 的语言模型在抽取式问答中的比较研究

    本文旨在研究和比较不同的预训练语言模型在回答问题的能力上的表现，通过使用 Bert-BiLSTM 结构模型的效果来检验双向流的加入是否能够提高模型性能，并发现 RoBERTa 和 BART 表现最佳。

    Oct, 2021

  • 基于标签集序列学习生成问题 - 答案对

    通过使用一种叫做 tag-set sequence learning 的新方法，TSS-Learner 模型可以从给定的陈述句中学习 tag-set sequence，在特定的文本中生成得到的问题和答案对，相比于 transformer-based 模型，其质量更高且更正常。

    Oct, 2022

  • 基于检索式问答系统的答案生成

    本文通过提出一种基于序列到序列变换器模型的答案生成方法，从 AS2 候选中生成答案，并在三个英文 AS2 数据集上进行测试，结果显示本方法的准确率在现有技术水平上提高了 32 个绝对值的水平。

    Jun, 2021

  • 基于问答的综合中文电子健康记录信息提取的流程

    提出了一种新的方法，自动生成用于 QA 模型的迁移学习的训练数据，该模型在电子健康记录的信息提取子任务中表现出色且能够有效处理少样本或零样本情况的问题。

    Feb, 2024

  • 利用 Transformer 的双向编码表示进行答案选择

    本文探讨了在大规模数据集上对 transformer 模型进行语言模型的预训练，并在 QA 和 CQA 数据集上微调 BERT 模型进行答案选择任务，在 QA 数据集中观察到了最大 13.1% 的提升，在 CQA 数据集中观察到了最大 18.7% 的提升。

    Nov, 2020

  • 学习提问以回答问题：获取 GPT-2 和 BERT 的最大优势

    本文利用变压器模型和深度神经网络提出了一种有效的自动生成问题的方法，并通过 SQuAD 1.1 数据集实验证明所提出的模型可以产生语义正确且多样化的问题，并且在半监督学习中表现优异，为小数据领域内的问题生成提供了强大的支持。

    Nov, 2019

  • 利用 Transformer 语言模型简化段落级问题生成

    Question generation is a natural language generation task that can be achieved with a single Transformer-based unidirectional language model, which outperforms QG baselines and produces high-quality questions that are relevant to their context paragraph and easy to answer, utilizing transfer learning without relying on auxiliary data.

    May, 2020