非自回归序列到序列视觉语言模型

CVPRMar, 2024

Non-autoregressive Sequence-to-Sequence Vision-Language Models

Kunyu Shi, Qi Dong, Luis Goncalves, Zhuowen Tu, Stefano Soatto

TL;DR通过多路推断并使用 Query-CTC 损失函数训练的并行解码序列到序列视觉 - 语言模型（NARVL），不再限制为条件分布，能够建模多个推断路径的联合分布，从而在推断时减少了线性复杂度与顺序生成的常态联合推断模式相比达到了与最先进自回归模型相当的性能提升，并且速度更快。

Abstract

sequence-to-sequence vision-language models are showing promise, but their applicability is limited by their inference latency due to thei

发现论文，激发创造

本研究提出使用离散潜变量来扩展序列模型，使解码更可并行化，相对于可比较的自回归模型，我们的模型在神经机器翻译任务中解码快一个数量级，而虽然 BLEU 得分低于纯自回归模型，但比以前提出的非自回归翻译模型获得了更高的分数。

Mar, 2018

该论文研究了一种高效的基于自回归的视觉模型，通过有限的数据集在测试阶段展示了其在高层次和低层次语义理解等各种视觉任务上的能力，减少了参数占用以及训练数据要求，为通用视觉模型领域的可持续性和可访问性提供了重要进展。

Feb, 2024

提出一种基于迭代改善的有条件非自回归神经序列模型，结合了潜变量模型和自编码器的原则，可以广泛应用于任何序列生成任务。该模型经过在机器翻译（En-De 和 En-Ro）以及图像字幕生成方面的广泛评估，观察到它显著加快解码速度，并保持与自回归形式相当的生成质量。

Feb, 2018

非自回归序列模型为了减少推理时间，通常会假定每个单词的生成过程彼此独立，但这会导致结果不一致。本文提出了一种结构化推理模块，使用高效的 CRF 近似算法来建模动态转换技术，以提高翻译的一致性，并在不影响推理速度的前提下，显著提高了翻译性能。

Oct, 2019

提出基于 CTC 的非自回归结构，可用于神经机器翻译，相比其他的非自回归结构，本文所提出的模型可以进行端到端的训练，并在 WMT 英罗马尼亚和英德数据集上实现了可比的翻译质量及较大的速度提升。

Nov, 2018

通过结合预训练、知识蒸馏和先进的非自回归训练技术，如 glancing training 和 non-monotonic latent alignments，基于 CTC 的非自回归模型在直接语音到语音翻译中实现了与自回归模型相当的翻译质量，并提升了 26.81 倍的解码速度。

Jun, 2024

本文对非自回归机器翻译模型进行了改进，通过使用额外的特征来提高连接时序分类（CTC）下的模型表达流畅性，并将其与波束搜索解码相结合，仍能保持高速解码能力，具有与自回归模型相媲美的 BLEU 分数。

Apr, 2020

该论文提出了一种新颖的分块并行解码方案，来提高序列生成的速度，并在机器翻译和图像超分辨率任务上通过实验验证了该方法的有效性。

Nov, 2018

提出一种使用生成流的非自回归序列生成模型，以提高非自回归序列生成的效率。在三个神经机器翻译基准数据集上进行了评估，与最先进的非自回归神经机器翻译模型性能相当且几乎不随序列长度而变化。

Sep, 2019

我们引入了一种新颖的顺序建模方法，可以学习大规模视觉模型（LVM）而无需使用任何语言数据。通过将原始图像、视频以及注解数据源转化为 “视觉句子” 的公共格式，我们可以表示各种视觉数据，并通过训练模型来解决多个视觉任务。

Dec, 2023