EMNLPSep, 2021

使用 BART 进行词汇约束文本生成的并行微调

PDF
TL;DR本文介绍了一种利用 Constrained BART 的方式进行词汇约束文本生成，并通过将任务分为两个子任务，将生成的负担从解码器转移到编码器，从而提高了句子质量和生成效率。实验结果表明，CBART 能够生成高质量和多样性的文本，同时显著加速推断。
lexically constrained text generationconstrained bartpre-trained model bartdecoderinference latency
发现论文，激发创造
  • 使用 XLNet 改进词汇约束句子生成：展示修改方法

    本文提出了使用分类器指导 MCMC 进行词汇限制句子生成的技术，并采用了两步方法 “预测和修订” 生成符合限制的句子，实验结果表明该方法在句子流畅度和多样性方面优于先前的方法。

    Sep, 2021

  • KG-BART: 生成通识推理的知识图谱增强 BART 模型

    通过加入知识图谱，KG-BART 提出一种新颖的预训练语言生成模型，以增强通用常识推理的能力，提高生成的句子的逻辑性和自然度，并通过 CommonGen 数据集取得了显著的效果提升，可作为后续社区感知 QA 任务的场景背景。

    Sep, 2020

  • BARTScore：将生成文本作为文本生成进行评估

    本研究利用预训练的序列到序列模型建立生成文本评估系统，并提出了一种与可靠的度量标准 BARTScore，可灵活应用于不同角度的文本评估，包括信息性，流畅性和事实性等领域，通过在 16 个数据集和 7 个不同角度的测试中超越其他评测度量标准。

    Jun, 2021

  • AutoTemplate：一种用于词汇约束文本生成的简单方法

    AutoTemplate 是一个基于模板生成和词汇转换任务的简单有效的文本生成框架，旨在满足硬限制词汇表，实验证明在关键词到句子生成和实体引导摘要任务上均优于竞争基线。

    Nov, 2022

  • 带语言约束的可控文本生成

    本篇论文提出了使用自然语言指定限制条件的语言模型的文本生成任务，并创建了挑战性的基准 Cognac。我们提出了一种名为 CognacGen 的方法，旨在利用语言模型的内部知识来引导生成，它可以成功地推广到未看到的指令，并在生成符合限制的文本方面优于竞争基线。

    Dec, 2022

  • 教授预训练模型生成简单文本以进行文本简化

    本文探讨了一种新的持续性的预训练策略，通过把 BART 模型继续预训练来生成简单的文本，从而提高简化任务的表现，同时与其他大型语言模型进行了比较。

    May, 2023

  • 对比和生成使 BART 成为一个良好的对话情感识别器

    利用监督对比学习和响应生成的任务来提高语境信息处理和识别相似语义表情的能力，同时采用预训练的编码解码模型 BART 作为主干模型，对话情感识别结果明显优于最先进的模型，这一有效性通过割除研究进一步证实。

    Dec, 2021

  • 基于预训练语言模型的句子嵌入中语义与句法的解耦

    ParaBART 是一个语义句子嵌入模型，使用基于源句子和目标释义之间语义相似性差异的语法指导解开基于预训练语言模型的嵌入中的语法和语义信息的工作。该方法在英语分析上表现出色，能有效的从语义句子嵌入中删除语法信息，提高对下游语义任务的鲁棒性。

    Apr, 2021

  • PAIR：基于预训练 Transformer 的长文本规划和迭代细化

    本文介绍了一种基于预训练转换器的内容控制型文本生成框架 ——PAIR。该框架采用了规划和迭代改进策略，并通过 BART 模型实现了生成。采用自动评估方法得分表明，添加规划可显著提高文本生成的质量，同时人工评估结果表明，PAIR 系统的生成结果相对于没有规划的对比组更加相关和连贯。

    Oct, 2020

  • BioBART：一种医学生成语言模型的预训练和评估

    本研究介绍了一种 BioBART 生成语言模型，适应于生物医学领域，用于对话、摘要、实体链接和命名实体识别等各种自然语言生成任务，预先培训在 PubMed 摘要上的 BioBART 比 BART 性能更出色，并在几个任务上设定了强基线。预处理任务的消融研究表明，句子置换对下游任务有负面影响。

    Apr, 2022