ACLApr, 2021

专注注意力改善基于文档的生成

PDF
TL;DR本文介绍了两个文档基于生成任务：维基百科更新生成和对话响应生成。我们提出了两种新颖的大规模预训练编码器 - 解码器模型并提供了更强大的 BART 基线。我们的方法在自动化和人类评估方面均优于现有方法。
发现论文，激发创造
  • 基于可衡量文本生成的内容传递方法研究

    该研究提出了内容转移技术，该技术可以在长文本生成中通过引用外部文本源，例如新闻报道，生成适合文本上下文并富含内容的下一句话。我们在 Wikipedia 数据上的实验结果显示出明显的改进，并在此次研究中发布了 640K Wikipedia 参考句子及源文章的基准数据集。

    May, 2019

  • UniGDD: 一个面向目标的文档驱动对话的统一生成框架

    本文提出了一种基于文档的对话方法，通过生成理解文本的知识与回答用户提问，逐步消除错误传播问题，并采用温度调度方法减少文档信息的负面影响，实验结果证明了多任务学习策略的有效性。

    Apr, 2022

  • RetGen: 一个检索和基于生成式文本生成的联合框架模型

    通过联合训练基于语言模型信号的基于文档检索器的生成器及检索器来生成更具信息含量和相关性的文本。

    May, 2021

  • 用于答案定位的句子注意力模块

    提出了一种名为 “Sentence Attention Block” 的新型建筑模块，通过明确建模图像特征图与句子嵌入之间的相互依赖关系，重新校准了通道级图像特征图，以过滤基于句子嵌入的不相关特征图通道，进而实现了目前最先进准确度的提高。

    Sep, 2023

  • 深度注意力潜变量模型的知识驱动响应生成

    该论文尝试采用一个采用联合关注机制、根据对话上下文和额外知识信息的变分生成模型，生成多样和信息丰富的回复，解决了现有模型难以生成具有信息量的回复的问题。

    Mar, 2019

  • 因果关系文档引导对话预训练

    通过构建具有因果关系的数据集和在预训练期间引入因果扰动的方法，我们在完全监督、低资源、少样本和零样本设置下，在三个基准数据集上实现了显著和一致的改进。

    May, 2023

  • 利用答案焦点、语境和语言特征进行不同类型问题的神经生成

    本篇论文提出了一种新的 Attentional Encoder-Decoder Recurrent Neural Network 模型用于自动生成问题，该模型融合语言特征和句子嵌入来捕捉句子和单词层面上的意义，并采用复制机制和特殊答案信号生成多样化的问题，在基准问题生成数据集上取得了 19.98 的 Bleu_4 结果，超过了以前发表的所有结果，并且人类评估显示这些新增的功能提高了生成的问题的质量。

    Sep, 2018

  • 分布式注意力用于基于图像描述的场景理解

    该研究针对弱监督概念下的图片描述问题，提出了一种基于分布式注意力机制和局部连接信息的部分地基准技术，可以帮助生成最佳的图片描述。

    Aug, 2021

  • ReGround: 提升文本和空间定位的无成本方法

    通过改变网络架构，将分布式注意力和交叉注意力从串行变为并行，可以显著减少文本和空间对齐之间的权衡。

    Mar, 2024

  • 一种可控的基于 grounded 的回复生成模型

    该论文提出了一种名为可控接地响应生成（CGRG）的框架，利用词汇控制短语来提高语义控制能力，有效避免了事实准确性和信息量之间的矛盾并超越强大的生成基准线。

    May, 2020