Dec, 2022

Socratic Pretraining: 基于问题的预训练方法用于可控摘要

PDF
TL;DR本文介绍了一种基于问题驱动的无监督预训练目标 ——Socratic 预训练，该方法使得预训练模型更加高效地遵循用户提供的查询，并识别相关内容进行长文本可控摘要。作者的实验结果表明，Socratic 预训练方法不仅具有较高的性能，而且将特定任务的标记数据需求减少了一半。
发现论文，激发创造
  • QURIOUS：文本生成的问题生成预训练

    本文介绍了一种新型文本生成的预训练方法 —— 提问生成法，并通过与抽象总结和面向回答问题的问题生成两个文本生成任务的实验，证明了该方法优于以往的预训练方法，能够更好地理解输入并生成更自然、简洁和丰富的文本。

    Apr, 2020

  • 使用查询聚合的指导性对话摘要

    通过引入指导训练到对话中，我们提出了一种三步方法来合成高质量的基于查询的摘要三元组。通过在三个摘要数据集上训练统一模型 InstructDS，我们扩展了对话摘要模型的能力，并在人类主观评估中得到了更高的泛化能力和忠实度。

    Oct, 2023

  • 口语问答自学习的自监督对话学习

    本研究通过自监督学习方式，包括不连贯性识别，插入检测以及问题预测，明确捕捉口语对话文档之间的指代消解和对话连贯性，提高了口语对话的意义和连贯性。在 Spoken-CoQA 数据集上取得了最先进的结果。

    Jun, 2021

  • 使用数据增强和优化偏好改进苏格拉底问答生成

    通过使用强化学习反馈和直接优化方法，我们提出了一种数据增强方法和优化模型来处理大型语言模型生成的无效问题，实验结果显示，经过优化的 LLama 2 模型在生成有效问题方面优于现有的方法。

    Mar, 2024

  • 通过摘要信息生成问题提高无监督问答

    本文提出一种基于无监督学习的问句生成方法，使用自由可得的新闻标题数据通过句法分析、命名实体识别和语义角色标注启发式技术转换成合适的问题，然后与原始新闻文章一起训练一个端到端的神经问句生成模型；通过在多项数据集上的实验证明，该方法生成的人工智能数据集用于训练问答模型，其性能远超过基于无监督学习的问答模型的现有成果。

    Sep, 2021

  • 利用检索句子生成模板的方式提高无监督问答

    我们提出了一种无监督训练 QA 模型的方法，该方法使用生成的伪数据训练，为 QA 训练生成问题，通过对相关检索到的句子应用简单模板，而非原始上下文句子来实现，从而使模型能够学习更复杂的上下文问题关系。 使用这些数据训练 QA 模型可在 SQuAD 数据集上获得 14％的 F1 分数相对提高，并且在答案为命名实体时提高 20％，从而实现无监督 QA 的最新性能。

    Apr, 2020

  • 具有草图监督的可控抽象对话摘要

    本文针对抽象对话摘要的质量和粒度控制问题，提出了一种包含两个主要组成部分和阶段的模型，实现了基于伪标注疑问代词类别和基于组成句法分析提取关键词短语生成初步摘要，并通过自动确定或控制源文本中不同文本片段预测和突出显示给定对话的生成摘要句子数量。在最大的对话摘要语料库 SAMSum 上表现出优越性能，达到了 50.79 的 ROUGE-L 评分，并展示了竞争性高的人类评估结果和可控制的效果。

    May, 2021

  • 通过重新引用源文本进行抽象文档摘要的预训练

    该论文提出了三个预训练目标，并基于未标记的文本对 Seq2Seq based abstractive summarization model 进行预训练，从而在有限的监督 summarization data 上改进其性能，这三个目标与 abstractive document summarization task 有密切关联。实验结果表明，这三个目标均能改进模型性能，且仅使用 19GB 的文本进行预训练即可与使用大规模数据集预训练的模型达到可比较的效果。

    Apr, 2020

  • Socratic 学习：扩展生成模型以融入训练数据中的潜在子集

    本文介绍了一种用于神经网络的增强学习方法，通过利用关系提取任务的弱监督数据进行训练，将逐渐生成高质量的标注数据，并提高模型的精度并减少误差。

    Oct, 2016

  • C-MORE: 通过查询数百万参考文献进行预训练以回答开放领域问题

    本文介绍了一种使用维基百科引用构建大规模预训练语料库以满足开放域问答系统的需求的方法，并测试了改进后的 retriever 和 reader 在精确度和 top-20 准确率方面的表现。

    Mar, 2022