CVPRJun, 2024

重访非自回归 Transformer 用于高效图像合成

PDF
TL;DR通过重新评估非自回归变压器的训练和推理策略设计，本文提出了一种名为 AutoNAT 的方法，该方法在自动框架中直接解决最优策略，从而大幅提升了非自回归变压器的性能，并且能够与最新的扩散模型在显著降低推理成本的同时进行可比较的表现。
image synthesisdiffusion modelsnon-autoregressive transformerstraining and inference strategiesautonat
发现论文，激发创造
  • 利用对比学习优化非自回归变换器

    本文提出了一种基于 DA-Transformer 模型和从模型分布中采点的对比约束的非自回归 Transformer 模型，通过这种方式减轻模态学习的难度，取得了在机器翻译，文本摘要和改写等多个基准数据集中显著的最新非自回归 Transformer 模型的性能。

    May, 2023

  • 非自回归 Transformer 模型的学习

    本文分析了非自回归 Transformer 的学习挑战，提出统一视角来理解存在的成功。研究表明，我们的视角可以解释 NAT 学习中的现象并指导新的训练方法的设计。

    Jun, 2022

  • RenewNAT: 为非自回归 Transformer 续期潜在翻译

    本文提出了一种名为 RenewNAT 的灵活框架，实现了高效和有效的翻译过程，结合了自然语言机器翻译的全非自回归模型和迭代模型。通过在单个通道中生成潜在的翻译结果，RenewNAT 在不引入额外模型参数和解码延迟的情况下，显着提高强大的全自然模型（例如 GLAT 和 DSLP）的性能。

    Mar, 2023

  • 为非自回归神经机器翻译检索连续信息

    本论文提出了两种增强 Non-Autoregressive Transformer (NAT) 翻译能力的方法：一种基于一种新的强化学习算法的序列级训练方法，叫做 Reinforce-NAT；还有一种名为 FS-decoder 的新型 Transformer 解码器，可以将目标顺序信息融合到解码器的顶层中。实验结果表明，Reinforce-NAT 在三个翻译任务上的表现优于基线模型 NAT，FS-decoder 的翻译性能与自回归 Transformer 相当，但速度更快。

    Jun, 2019

  • 全非自回归神经机器翻译：技巧窍门

    本研究提出了一种全非自回归神经机器翻译（NAT）的方案，采用依赖关系减少等方法，缩短推理延迟同时提升翻译质量，在三个翻译基准测试中实现了新的全自然机器翻译模型的最高水平，并在推理时间上取得了大约 16.5 倍的速度提升。

    Dec, 2020

  • DiffNorm：自监督标准化非自回归语音转语音翻译

    这项研究介绍了 DiffNorm，一种基于扩散的规范化策略，通过去噪合成损坏的语音特征构建规范化的目标数据，同时提出使用无分类器指导来进行非自回归 Transformer 模型的正则化，从而在速度和翻译质量上实现了显著的提升。

    May, 2024

  • 基于课程学习的非自回归神经机器翻译的微调

    通过引入课程学习到 NAT 的微调过程中，本文提出的方法在 BLEU 度量上比以往的 NAT 基线有很大改进，同时在推理期间的速度比 AT 基线快 10 倍以上。

    Nov, 2019

  • NAT：准确紧凑神经架构转换器

    通过在深度神经网络内使用 Markov 决策过程和强化学习，我们提出了神经架构转换器，能够替换无意义或冗余的操作以提高性能并减少计算成本。我们的实验在 CIFAR-10 和 ImageNet 数据集上验证了此方法的有效性。

    Oct, 2019

  • 神经机器翻译及其扩展中的非自回归生成调查

    本文对不自回归生成（NAR）进行了系统的调查，并比较和讨论了不同方面的各种非自回归翻译（NAT）模型，包括数据处理、建模方法、训练标准、解码算法以及受到预训练模型的好处，同时简要回顾了 NAR 模型在机器翻译以外的其他应用，并讨论了未来探索的潜在方向。

    Apr, 2022

  • 有向无环 Transformer 模型用于非自回归机器翻译

    通过将隐藏状态表示成有向无环图，在非自回归的情况下同时捕获多个翻译，并促进快速预测，DA-Transformer 在 WMT 基准测试的原始训练数据上实验表明，DA-Transformer 比以前的 NATs（非自回归 transform）平均优于 3 BLEU，是第一个在不依赖于知识蒸馏的情况下实现与自回归 Transformer 竞争性结果的 NAT 模型。

    May, 2022