May, 2023

针对具有不完整信息的文本生成的对抗非自回归模型

PDF
TL;DR本文提出一种新型的 Non-autoregressive Transformer 模型，即 Adversarial Non-autoregressive Transformer，在 Incomplete Information Scenario 下，在 Position Aware Self-Modulation 和 Dependency Feed Forward Network 的支持下，实现了在性能与迭代次数之间的平衡，且具有较强的应用潜力。
non-autoregressive modelscomplete information scenarioincomplete information scenarioadversarial non-autoregressive transformermaximum likelihood estimation
发现论文，激发创造
  • 预训练语言模型的非自回归式文本生成

    本文提出了一种基于 BERT 的非自回归文本生成模型，通过引入新的解码策略（ratio-first）以及机制来解决 NAG 模型中的两个问题，并在三个文本生成任务上进行全面评估，证明该模型在速度和性能上均优于现有的非自回归基线模型，在许多强自回归模型上也取得了有竞争力的性能.

    Feb, 2021

  • 非自回归神经机器翻译

    本文提出一种新的神经机器翻译模型，通过避免自回归的特性，以并行方式生成输出，进而做到了比先前方法更低的延迟时间。通过知识蒸馏，潜在变量，以及多样本策略梯度微调等技术手段，几乎没有损失性能，达到了先进的翻译效果。

    Nov, 2017

  • 非自回归神经机器翻译的模仿学习

    本文提出了基于仿真学习的非自回归机器翻译框架，该框架仍然具有快速翻译速度但与其自回归对应方法相比具有可比较的翻译性能。通过对 IWSLT16、WMT14 和 WMT16 数据集进行实验，发现我们提出的模型在保持翻译质量可比的同时，比自回归模型有更快的翻译速度。在推断时并行采样句子长度，WMT16 Ro→En 的 BLEU 值达到 31.85，而 IWSLT16 En→De 的 BLEU 值为 30.68。

    Jun, 2019

  • INarIG: 迭代的非自回归指令生成模型用于单词级自动补全

    计算机辅助翻译（CAT）旨在提高人工翻译效率，本文提出了 INarIG 模型用于 Word-Level Auto Completion 任务，该模型能更好地处理低频词，提高预测准确率，并在 WMT22 和基准数据集上取得了最新效果。

    Nov, 2023

  • 通过迭代改善的方法进行非自回归神经序列建模

    提出一种基于迭代改善的有条件非自回归神经序列模型，结合了潜变量模型和自编码器的原则，可以广泛应用于任何序列生成任务。该模型经过在机器翻译（En-De 和 En-Ro）以及图像字幕生成方面的广泛评估，观察到它显著加快解码速度，并保持与自回归形式相当的生成质量。

    Feb, 2018

  • 将句法和语义结构丰富非自回归变压器用于神经机器翻译

    本研究旨在提高非自回归模型的神经机器翻译的效率和性能，通过将语言的句法和语义结构以及目标句子中的中间潜在对齐纳入一个非自回归 Transformer 模型。实验证明，该模型在速度上显著提高，与现有的多个最先进的非自回归模型相比，在保持翻译质量的同时表现突出。

    Jan, 2021

  • CUNI WMT 22 高效翻译赛任务的非自回归系统

    我们提交了一个非自回归系统的解决方案，用于 WMT 22 高效翻译共享任务，并使用 12 层 Transformer 模型、连接主义时间分类和强有力的自回归教师模型知识蒸馏数据进行了训练，旨在建立扎实的基线和可靠的评估方法，特别是在测量解码速度方面。

    Dec, 2022

  • 通过混合训练来提高非自回归生成

    本文介绍了一种基于预训练 transformer 模型的非自回归生成模型，并提出了一种名为 MIST 的迭代训练方法，无需在推断阶段牺牲推断速度即可获得更好的性能，在问题生成、摘要和释义生成等三个方面取得了最新的最好效果。

    Oct, 2021

  • 神经机器翻译及其扩展中的非自回归生成调查

    本文对不自回归生成（NAR）进行了系统的调查，并比较和讨论了不同方面的各种非自回归翻译（NAT）模型，包括数据处理、建模方法、训练标准、解码算法以及受到预训练模型的好处，同时简要回顾了 NAR 模型在机器翻译以外的其他应用，并讨论了未来探索的潜在方向。

    Apr, 2022

  • Emage: 非自回归式文本到图像生成

    非自回归模型在生成图像时具有高效生成大量图像标记、低推理延迟等特点，与自回归模型相比，其参数规模为 346M，使用一台 V100 GPU 在 1 秒内生成了一张 256×256 像素的高质量图像。

    Dec, 2023