Perceiver-VL: 迭代潜在注意力的高效视觉语言建模

Nov, 2022

Perceiver-VL: 迭代潜在注意力的高效视觉语言建模

Perceiver-VL: Efficient Vision-and-Language Modeling with Iterative Latent Attention

Zineng Tang, Jaemin Cho, Jie Lei, Mohit Bansal

TL;DRPerceiver-VL 是一个高效处理大量视觉和语言输入的框架，采用迭代潜在跨注意力技术，具有线性可扩展性和高效性，并在保持其竞争力能力的同时，在各种基准测试中取得最佳结果。

Abstract

We present perceiver-vl, a vision-and-language framework that efficiently handles high-dimensional multimodal inputs such as long videos a

perceiver-vl vision-and-language framework multimodal inputs cross-attention efficiency

发现论文，激发创造

带迭代注意力的通用感知器

本文介绍了 Perceiver 模型，它利用了不对关系进行假设的 Transformer，同时还能在处理非常大的输入时进行规模扩展，通过迭代地将输入压缩到一个紧凑的潜在瓶颈中，并且在图像、点云、音频、视频和视频 + 音频等多个模态的分类任务中达到了与最佳模型相当的性能。

Mar, 2021

快速视觉感知的动态查询选择

本文探讨了如何在限制精度降低的同时，通过减少推理情况下的查询数量 Q，进一步提高 Perceivers 的效率，以解决网络复杂度和推理时间的问题。

May, 2022

幕后揭秘：揭示预训练视觉语言模型的秘密

该论文研究了使用 Transformer 模型的大规模预训练模型在图像与语言（V+L）方面的应用，通过评估和探索内部机制，提供了关于多模式预训练及其注意力头的启示和指导。

May, 2020

PerceptionGPT: 将视觉感知有效融合到 LLM 中

本文提出了一种名为 PerceptionGPT 的新型端到端框架，通过利用 LLMs 的 token 嵌入的表示能力，高效有效地赋予 VLLMs 视觉感知能力。该方法以 LLMs 的 token 嵌入作为空间信息的携带者，利用轻量级的视觉任务编码器和解码器执行视觉感知任务（如检测、分割），有效缓解了以往将视觉输出离散化为 token 的训练困难，并且能够在更少的可训练参数、较少的训练数据和较短的训练时间内实现更优越的性能。此外，由于推理过程中只需要一个 token 嵌入来解码视觉输出，结果序列长度可大幅减少。因此，该方法能够实现准确灵活的表示，无缝集成视觉感知任务，并高效处理多个视觉输出，通过广泛的实验证实了该方法的有效性和效率，结果表明，在更少的可训练参数和 GPU 时间的情况下取得了显著的改进，为未来赋予 LLMs 视觉感知能力的研究提供了便利。

Nov, 2023

图像在第二层之后价值为 1/2 令牌：大型视觉语言模型的即插即用推理加速

通过学习自适应注意力模式和精简视觉标记，FastV 可显著降低计算成本并在各种图像和视频理解任务中保持优秀性能，有助于在边缘设备和商业模型中部署大规模视觉 - 语言模型。

Mar, 2024

Perceiver AR 实现的通用、长上下文自回归建模

使用跨注意力机制构建了 Perceiver AR 机器学习模型，可自动学习高维的图像和音乐数据中的长期依赖关系，并在图像和书籍的测试中取得最优的结果，而无需人为设计稀疏模式或记忆机制。

Feb, 2022

将更多关注转移到视觉语言对象追踪上

我们设计了一种有效的视觉 - 语言表示方法，同时为追踪问题构建了一个大型带有语言注释的数据库。通过引入异构架构搜索和模态混合器等核心技术，以及对不同模态之间进行对比损失的引入，我们能够显著改善追踪问题的解决方案，并期望将更多注意力转向视觉 - 语言追踪，为未来的多样化多模态消息追踪开辟更多可能性。

Jul, 2023

语境增强：迈向高效准确的场景文本识别

提出了一种基于 $ extbf {LVP}$ 的语言感知视觉模型，通过级联式优化和语言信息挖掘解决了基于纯视觉的识别模型在注意力漂移和部分视觉缺失情况下识别率低的问题，并在保持低复杂度的同时达到了最佳性能。

May, 2023

Voila-A: 用户注视注意力对齐视觉语言模型

本文介绍了一种使用视线信息作为人类关注的代理来指导视觉 - 语言模型（VLMs）的方法，提出了一种名为 Voila-A 的新方法，通过目光对齐增强了这些模型在现实应用中的可解释性和效果，实验结果表明 Voila-A 显著优于几个基准模型，为更直观、以用户为中心的 VLMs 以及广泛的人工智能人机交互铺平了道路。

Dec, 2023

VCoder: 用于多模态大型语言模型的多用途视觉编码器

人类具有视觉感知的出色技能，近期多模态大型语言模型（MLLM）在视觉与语言任务上取得了令人印象深刻的性能，但在识别或计数图像中的实体方面存在一些问题。为了改善多模态 LLM 在感知和推理方面的准确性，我们提出使用 VCoder 作为多模态 LLM 的感知工具，该工具能够通过接收分割或深度图等感知方式来提升多模态 LLM 的感知能力。此外，我们利用 COCO 图像和现成的视觉感知模型输出来创建 COST 数据集，用于训练和评估 MLLM 在对象感知任务上的表现。最后，我们提供了大量的实验证据，证明了 VCoder 在对象级感知能力上相比其他多模态 LLM（包括 GPT-4V）的改进。我们公开发布了我们的数据集、代码和模型，以促进相关研究。

Dec, 2023