ACLJun, 2021

NAST: 无自回归生成器，带有词语对齐功能，用于无监督文本风格转移

PDF
TL;DR本文提出了一种基于非自回归生成器（NAST）的无监督文本风格转换方法，通过显式建模单词对齐关系和对源语句的部分内容进行保护来减轻内容保留问题并精细控制单词级别的风格转换。实验表明，NAST 可以显著提高性能并提供可解释的单词对齐效果。
autoregressive modelsunsupervised text style transfernon-autoregressive generatorword alignmentsfine-grained control
发现论文，激发创造
  • 一种非自回归生成框架用于端到端同步任意语音翻译

    我们提出了一种新颖的非自回归生成框架用于同时语音翻译 (NAST-S2X)，它将语音到文本和语音到语音任务整合到统一的端到端框架中。实验结果表明，NAST-S2X 在语音到文本和语音到语音任务中优于现有模型，在不到 3 秒的延迟内实现了高质量的同时口译，并在离线生成中提供了 28 倍的解码加速。

    Jun, 2024

  • 非自回归流式 Transformer 用于同声翻译

    提出了一种非自回归流式 Transformer（NAST）用于同时机器翻译（SiMT），通过通过一种新的编码器和非自回归解码器拓宽了读 / 写策略并降低延迟损失，实验证明 NAST 优于以往自回归 SiMT 基线模型。

    Oct, 2023

  • 基于 CTC 的非自回归语音翻译

    本文介绍了一种基于 CTC 的非自回归语音翻译模型，采用预测感知编码方法和跨层注意力方法解决了翻译任务中的条件独立生成和单调对齐等问题，加速比为 5.67 倍，BLEU 分数为 29.5，在 MuST-C ST 基准测试上优于自回归模型和之前的最佳结果。

    May, 2023

  • 神经机器翻译及其扩展中的非自回归生成调查

    本文对不自回归生成（NAR）进行了系统的调查，并比较和讨论了不同方面的各种非自回归翻译（NAT）模型，包括数据处理、建模方法、训练标准、解码算法以及受到预训练模型的好处，同时简要回顾了 NAR 模型在机器翻译以外的其他应用，并讨论了未来探索的潜在方向。

    Apr, 2022

  • 非自回归 Transformer 模型的学习

    本文分析了非自回归 Transformer 的学习挑战，提出统一视角来理解存在的成功。研究表明，我们的视角可以解释 NAT 学习中的现象并指导新的训练方法的设计。

    Jun, 2022

  • 预训练语言模型的非自回归式文本生成

    本文提出了一种基于 BERT 的非自回归文本生成模型，通过引入新的解码策略（ratio-first）以及机制来解决 NAG 模型中的两个问题，并在三个文本生成任务上进行全面评估，证明该模型在速度和性能上均优于现有的非自回归基线模型，在许多强自回归模型上也取得了有竞争力的性能.

    Feb, 2021

  • 利用对比学习优化非自回归变换器

    本文提出了一种基于 DA-Transformer 模型和从模型分布中采点的对比约束的非自回归 Transformer 模型，通过这种方式减轻模态学习的难度，取得了在机器翻译，文本摘要和改写等多个基准数据集中显著的最新非自回归 Transformer 模型的性能。

    May, 2023

  • 从搜索中学习非自回归模型用于无监督句子摘要

    该文提出了一种名为 NAUS 的非自回归无监督摘要方法，使用基于编辑的搜索生成伪基准摘要，并在此基础上训练一个仅含编码器的非自回归 Transformer，通过动态规划方法进行长度控制解码，实现了在无监督摘要中取得最新的性能提升，同时提高了推理效率。

    May, 2022

  • 邻居不是陌生人：在低频词汇限制下改进非自回归翻译

    该研究探讨了非自回归翻译方法中因最近度高而导致的限制条件处理不良的问题，并提出一种基于 source-side context 的插件算法，即 Aligned Constrained Training，来提高翻译品质，尤其针对一些不常见的限制条件。

    Apr, 2022

  • 基于位置学习的非自回归 Transformer

    本研究提出 PNAT，将位置建模作为非自回归文本生成过程的一个潜变量。实验结果表明，PNAT 在机器翻译和转述生成任务中取得了最佳结果，优于几个强基线模型。

    Nov, 2019