Feb, 2024

通过顺序自回归打造数据高效的大型视觉模型

PDF
TL;DR该论文研究了一种高效的基于自回归的视觉模型，通过有限的数据集在测试阶段展示了其在高层次和低层次语义理解等各种视觉任务上的能力，减少了参数占用以及训练数据要求，为通用视觉模型领域的可持续性和可访问性提供了重要进展。
general-purpose vision modelsequential visual dataautoregression-based vision modelhigh-level semantic understandinglow-level semantic understanding
发现论文，激发创造
  • 非自回归序列到序列视觉语言模型

    通过多路推断并使用 Query-CTC 损失函数训练的并行解码序列到序列视觉 - 语言模型（NARVL），不再限制为条件分布，能够建模多个推断路径的联合分布，从而在推断时减少了线性复杂度与顺序生成的常态联合推断模式相比达到了与最先进自回归模型相当的性能提升，并且速度更快。

    Mar, 2024

  • 序列建模为大型视觉模型实现可扩展学习

    我们引入了一种新颖的顺序建模方法，可以学习大规模视觉模型（LVM）而无需使用任何语言数据。通过将原始图像、视频以及注解数据源转化为 “视觉句子” 的公共格式，我们可以表示各种视觉数据，并通过训练模型来解决多个视觉任务。

    Dec, 2023

  • 语言与视觉助手在视觉环境下的高效自然语言理解：阅读和推理中哪些是重要的

    通过识别关键组件和创建具有受限推理成本的高效模型，重新定义了视觉语言模型的设计，以实现推理吞吐量的显著提高，并保持高性能。

    Jun, 2024

  • 自回归视频模型的扩展

    通过在 Kinetics 数据集上训练基于三维自注意机制的自回归视频生成模型，我们展示了这种概念简单的方法在产生高保真、逼真度更高的视频方面具有竞争力。

    Jun, 2019

  • 视觉自回归建模：通过下一尺度预测实现可扩展图像生成

    Visual AutoRegressive modeling (VAR) improves autoregressive image generation surpassing diffusion transformers, exhibiting power-law scaling laws and zero-shot task generalization.

    Apr, 2024

  • 探索随机自回归图像建模以获取视觉表征

    本文针对自回归模型在计算机视觉领域无法与其他自监督学习方法相比的问题，通过引入随机排列策略和并行编码 - 解码训练过程，提出了一种名为 SAIM 的新型随机自回归图像建模方法，取得了极大的性能提升，特别是在基于 ImageNet-1K 数据的视觉变换任务方面达到最佳精度 83.9%。

    Dec, 2022

  • 计算机视觉中自回归解码器的多任务研究

    本研究着重探讨了多模式计算机视觉的自回归解码器，包括分类、字幕、视觉问答和光学字符识别等任务，通过广泛的系统性实验，我们研究了多任务和数据混合、训练和正则化超参数、调节类型和特异性、模态组合等因素的影响，并与良好调整的单任务基线进行了比较。重要的是，我们发现锁定图像调整 (LiT-decoder) 的小型解码器表现出色，并通过与预先训练的预训练编码器交互教授解码器自然语言。

    Mar, 2023

  • 辅助导向自回归变分自动编码器

    本文提出了一种训练程序，它基于辅助损失函数来控制潜变量所捕获的信息以及留给自回归解码器的信息，该方法可以实现任意强大的自回归解码器，达到具有潜变量的模型中最先进的定量性能，并生成定性令人信服的样本。

    Nov, 2017

  • 非自回归式的粗到细视频字幕

    本文提出了一种非自回归解码的模型，使用基于双向自注意力的语言模型来加速推理，生成视频字幕的过程分为两个阶段，通过迭代的修改，得到高质量的细致视频描述，大量实验表明该方法达到了最先进的性能，并获得了高推理效率。

    Nov, 2019

  • 将语言模型与视觉实体识别连接

    AutoVER 是一种用于视觉实体识别的自回归模型，通过使用检索增强的约束生成来扩展多模态大型语言模型，以解决在域外实体上表现不佳但在需要视觉定位推理的查询上表现出色的问题。该方法通过在与序列到序列目标并行训练的同时对困难的负样本对进行对比训练，学习区分庞大标签空间内的相似实体。在推理过程中，一系列检索到的候选答案通过删除无效的解码路径明确地指导语言生成。所提出的方法在最近提出的 Oven-Wiki 基准测试的不同数据集划分上取得显著改进，实体已见划分的准确率从 32.7% 提高至 61.5%。在未见和查询划分上也通过大幅度的两位数优势展示出卓越性能。

    Feb, 2024