Mar, 2023

计算机视觉中自回归解码器的多任务研究

PDF
TL;DR本研究着重探讨了多模式计算机视觉的自回归解码器，包括分类、字幕、视觉问答和光学字符识别等任务，通过广泛的系统性实验，我们研究了多任务和数据混合、训练和正则化超参数、调节类型和特异性、模态组合等因素的影响，并与良好调整的单任务基线进行了比较。重要的是，我们发现锁定图像调整 (LiT-decoder) 的小型解码器表现出色，并通过与预先训练的预训练编码器交互教授解码器自然语言。
发现论文，激发创造
  • 掩蔽自动编解码器是一种有效的多任务视觉通才

    通过引入双向注意力机制、并行解码框架和掩码序列建模方法，设计了一种名为 MAD 的多任务视觉通用模型，用于统一各种视觉任务，实验证明 MAD 在性能和推理效率方面优于自回归模型，并在与任务专用模型相比获得竞争力的准确性。

    Mar, 2024

  • 辅助导向自回归变分自动编码器

    本文提出了一种训练程序，它基于辅助损失函数来控制潜变量所捕获的信息以及留给自回归解码器的信息，该方法可以实现任意强大的自回归解码器，达到具有潜变量的模型中最先进的定量性能，并生成定性令人信服的样本。

    Nov, 2017

  • 具有辅助解码器的分层自回归图像模型

    提出使用离散表示图像的方法，可以让基于自回归的生成模型输出具备更好的大规模连贯性，在 ImageNet 数据集上进行实验，证明了分层条件自回归模型可以在 128×128 和 256×256 的分辨率上生成逼真的图像。

    Mar, 2019

  • 解码器的魔鬼：分类、回归与 GANs

    本文介绍了一种新的像素预测器：双线性加性上采样，同时比较了各种类型解码器在各种像素级任务中的表现，发现解码器类型对于结果影响很大，并探讨了预测产生的伪影问题。

    Jul, 2017

  • 掩码非自回归图像字幕生成

    本文提出了一种基于遮码机制的非自回归解码模型，用于生成图像标题。实验结果表明，该模型可以更有效地保留语义内容并生成更多样化的标题。

    Jun, 2019

  • 深度自回归模型的块并行解码

    该论文提出了一种新颖的分块并行解码方案，来提高序列生成的速度，并在机器翻译和图像超分辨率任务上通过实验验证了该方法的有效性。

    Nov, 2018

  • 通过顺序自回归打造数据高效的大型视觉模型

    该论文研究了一种高效的基于自回归的视觉模型，通过有限的数据集在测试阶段展示了其在高层次和低层次语义理解等各种视觉任务上的能力，减少了参数占用以及训练数据要求，为通用视觉模型领域的可持续性和可访问性提供了重要进展。

    Feb, 2024

  • 开车前三思：面向端到端自动驾驶的可扩展解码器

    本文提出基于编码器 - 解码器范式的自动驾驶任务中，充分发挥编码器能力和增加解码器容量的方法，以及在预测车辆行为的同时提取安全关键区域信息，实现闭环自动驾驶，并在 CARLA simulator 上取得了优秀的表现。

    May, 2023

  • 视频字幕解码器的深度挖掘

    本篇研究针对视频字幕模型的解码问题，通过三种技术改进模型的性能，包括使用变分 Dropout 和层归一化改善过拟合问题、提出在线评估模型性能以选择最佳测试检查点的方法、提出专业学习的新训练策略。在 Microsoft Research Video Description Corpus (MSVD) 和 MSR-Video to Text (MSR-VTT) 数据集上进行的实验证明，相较于之前最先进的模型，我们的模型在 BLEU、CIDEr、METEOR 和 ROUGE-L 指标上获得了显著的成果，其中在 MSVD 数据集上提升了高达 18%，在 MSR-VTT 数据集上提升了 3.5%。

    Jan, 2020

  • 多任务学习在开放域对话系统中的实证研究

    研究使用辅助任务对自回归模型进行改进，提高其在开放域对话生成中的长期语境处理和一致性维护，结果在小型和中型的 GPT-2 模型上表明引入新的辅助任务虽然有所改进，但仍有发展空间。

    Apr, 2023