- 应用通用序列到序列模型实现简单有效的关键词生成
本研究旨在展示使用 seq2seq 语言模型 BART，在一个简单的训练过程中能够轻松地从文本中生成关键词短语，并在五个基准测试中获得与现有最先进 KPG 系统一样好的实证结果，同时也拥有简单易部署的框架。
- AAAI好香的香水。你泡在里面泡了多久？多模态的讽刺解释
该论文提出了一个新的问题：多模态讽刺解释（MuSE），旨在针对一个带有图像和标题的多模态讽刺贴文，生成自然语言解释以揭示意图的讽刺。通过使用一个跨模态注意力的 Transformer 编码器，并使用 BART 的自回归解码器作为生成器，该论 - EMNLP弱监督下的选择性学习用于释义生成
本文提出了利用元学习框架解决弱监督下的释义生成任务，并通过检索式的伪释义扩展获取大量弱标注平行句子，进而选择有价值的样本对预训练语言模型 BART 进行微调，从而生成高质量释义的方法，与目前的无监督学习方法相比具有显著的改进。
- EMNLP运用预训练模型对医患对话进行自动摘要
本文研究使用预训练的转换器模型对医患对话转录进行自动摘要的可行性，展示了在特定构造的数据集上，使用有限的训练数据 fine-tuning BART 可以生成流畅而足够的摘要，其生成效果远远超过人工注释者和先前发表的作品质量，并提出了多阶段的 - ACLMOVER: 基于掩码、过度生成和排序的夸张生成方法
本文旨在对夸张的生成进行研究，并构建了首个大规模夸张语料库 HYPO-XL，并提出了一种无监督方法，使用 BART 进行训练和推理，通过遮盖输入字面的句子的一部分和过度生成多个可能的夸张版本来进行生成，同时使用 BERT 进行排序并选择最佳 - EMNLP通用资源是你所需要的：无需特定任务的平行训练数据即可完成风格转移任务
提出了一种基于 BART 预训练模型和泛化资源的无监督学习方法，将其用于风格迁移任务中，在不使用任何特定领域的平行数据的情况下，超越了现有的无监督方法。
- MM阅读 StackOverflow 鼓励作弊：添加问题文本改进抽取式代码生成
使用 CoNaLa 语料库和 BART 模型来回答编程问题，利用问题提问和意图，结合所挖掘的 CoNaLa 数据，取得了 BLEU 达到 35.32 的优良成绩，并通过对比实验证明了 BART 模型的在无监督多模态学习和摘要提取方面的优势。
- ACL生成式预训练语言模型可作为封闭式问答知识库吗？
本研究探索了使用预训练语言模型作为知识库回答开放性问题的方法，构建了一个新的 SQuAD 数据集对 BART 进行了评估，并发现对 BART 来说，在高精度记忆训练事实和回答封闭式问题方面存在挑战，需要将知识记忆过程与 QA 微调过程分开， - ACL面向情感感知的对话响应生成的生成与分类多任务学习
本文提出了一种基于 BART 的神经响应生成模型，通过多任务学习生成和分类，并注重情感，在对生成响应的同时识别情感。自动评估和众包手动评估显示，该模型使生成的响应更富有情感意识。
- AAAINAREOR：叙事重排问题
本文提出和探讨了一项名为 “NAREOR” 的任务，即重写给定故事的叙述顺序，同时保留其情节。通过使用如 BART 和 T5 等最先进的模型，作者以非线性顺序重写了 ROCStories 中的故事，这是一个具有挑战性的任务，可用于创造更有趣 - ACL预训练语言模型的话语探测
本文使用七种预训练语言模型，运用七种篇章探测任务，将研究重点从句子级别上升到文档级别上，最终发现 BART 是捕获篇章信息能力最好的模型，但只有其编码器部分表现最佳，BERT 作为基准模型也出奇地表现良好，并且不同层次的模型对篇章信息的刻画 - ACL学习数据合成以用于语义解析
本篇论文提出了一种生成模型，该模型具有模拟编程语言的组合结构的 PCFG 模型和将编程转化为语句的 BART 模型，能够有效且高效地从现有的数据中学习，并且能够探索多样化的未知数据，通过在 GeoQuery 和 Spider 标准基准测试中 - 使用预训练语言模型在低资源环境下进行长文档摘要
本文探讨如何在低资源情况下，使用深度神经网络等技术进行长篇法律文件的自动摘要，本文提出了一种基于 GPT-2 的算法，基于语言模型的困惑度，识别出最具有表现力的句子，在提取摘要时提供有效支持，并且该方法胜过了全球其他对手的显著度检测基线。
- AAAI利用异构图神经网络生成情感对话
本文提出了基于异构图模型的情感对话生成方法，利用对话历史记录、情感流、面部表情、音频和说话人个性等多维信息来编码对话内容并生成适当情感的响应，实验结果表明，该方法可以有效地感知多源知识并生成令人满意的响应。
- TREC 2020 播客摘要赛道的 CUED 语音
该研究介绍了用于 TREC 2020 播客摘要挑战的方法。该方法采用了两个步骤：过滤摘要中的冗余或信息较少的句子，然后应用基于 BART 的文本摘要系统。最好的结果在人类评估中达到了 1.777 的得分。
- 预训练模型摘要精馏
使用三种不同的压缩学生模型的方法（直接知识蒸馏、伪标签蒸馏和收缩和微调），对当前和过去的最先进的 PEGASUS 和 BART 模型进行压缩蒸馏，在 CNN / DailyMail 数据集上 SFT 方法表现最佳，在更抽象的 XSUM 数据 - BARThez: 一种熟练的预先训练的法语序列到序列模型
本研究介绍了 BARThez，这是首个大规模的针对法语进行预训练的 seq2seq 模型，它在五个歧视性任务和两个生成性任务上表现非常有竞争力，并且在法语模型中超越了 CamemBERT 和 FlauBERT 等目前的最先进模型。我们还展示 - EMNLP面向组合式任务的低资源域自适应语义解析
本文介绍了一种新方法，使用 BART 进行表征学习并使用基于优化的元学习方法来提高到低资源域的泛化性能，以使任务导向的语义解析器适应低资源域，这种方法在新收集的多领域任务导向语义解析数据集（TOPv2）方面明显优于所有基线方法。
- ACL适应预训练的单语和多语模型的机器翻译配方
本文旨在研究利用预训练模型进行机器翻译时，冻结参数与添加新参数来微调预训练模型的优点和缺点，通过试验方式得出最优结果。结果表明，当微调 monolingual 预训练模型时，通过冻结大部分模型参数并添加更多的位置嵌入可以在机器翻译任务中获得 - ACL使用预训练 Transformer 模型进行数据增强
本文研究了不同类型的基于 Transformer 的预训练模型（如 GPT-2，BERT 和 BART），并探索了在数据增强方面，如何在文本序列之前添加类标签提供了一种简单而有效的条件方法，预先训练的 Seq2Seq 模型在低资源环境下胜过