Jun, 2024

DeepStack: 深度堆叠视觉令牌在 LMMs 中的惊人简洁和高效

PDF
TL;DR该研究提出一种新的架构 DeepStack 用于大型多模态模型（LMMs），通过将视觉令牌分组堆叠到与之对应的转换层以增强 LMMs 的建模能力，并在广泛的实证结果中验证了 DeepStack LMMs 的有效性。
multimodal modelsdeepstacklmmstransformer layersempirical results
发现论文，激发创造
  • 母子嵌套多模型

    M3: Matryoshka Multimodal Models propose nested visual tokens to control visual granularity, offering flexibility in trading off information density v.s. efficiency, and revealing a large gap between fixed-scale representations and the oracle upper bound.

    May, 2024

  • LLaVolta: 通过分阶段视觉上下文压缩实现高效多模态模型

    通过对视觉标记和训练效率的分析研究，提出了一种名为 Visual Context Compressor 的方法，通过压缩视觉标记来提高多模式模型的训练效率，最终实现在图像语言理解和视频语言理解领域性能的提升和训练成本的降低。

    Jun, 2024

  • 语境长距离从语言到视觉的转换

    通过扩展语言模型的上下文长度，我们实现了视频片段中的长上下文传递，使得大型多模态模型能够理解数量级更多的视觉标记，并开发了一个纯合成的长视觉基准测试，证明了 Long Video Assistant（LongVA）在处理长视频方面的优越性能。

    Jun, 2024

  • 堆叠您的 Transformer：深入研究用于高效 LLM 预训练的模型扩展

    LLM 预训练中，模型增长方法和深度叠加算子 G_stack 被证明在训练加速、性能提升和可扩展性方面具有潜力。

    May, 2024

  • 图像在第二层之后价值为 1/2 令牌：大型视觉语言模型的即插即用推理加速

    通过学习自适应注意力模式和精简视觉标记，FastV 可显著降低计算成本并在各种图像和视频理解任务中保持优秀性能，有助于在边缘设备和商业模型中部署大规模视觉 - 语言模型。

    Mar, 2024

  • 从冗余到相关性：增强多模态大型语言模型的可解释性

    通过分析信息流的动态流动，我们发现信息流似乎在浅层中汇聚，进一步的研究揭示了浅层中图像令牌的冗余，因此引入了一个截断策略来聚合这些浅层内的图像令牌，该方法通过多个模型上的实验证实，并获得了一致的改进。

    Jun, 2024

  • DeepSpeed-VisualChat：多轮多图像交互聊天通过多模态因果关注

    为了解决现有多模态模型在多图像、多轮对话中处理交叉图像和文本输入的能力不足的问题，我们提出了 DeepSpeed-VisualChat 框架，以优化大型语言模型的性能，并提升大型视觉和语言模型处理交叉输入的能力。相比现有框架，DeepSpeed-VisualChat 在多模态语言模型方面具有较高的可伸缩性，并为未来的探索奠定了坚实的基础。

    Sep, 2023

  • 基于深度学习的视觉 - 语言任务统一框架

    通过引入 pool-adapter 模块，保留视觉嵌入的位置信息，我们的 InfMLLM 方法在图像描述、视觉问题回答和视觉定位等任务中达到了与最新的多模态大语言模型相当或超越的性能。

    Nov, 2023

  • 使用深度自注意力进行字符级语言建模

    本文通过实验证明，64 层深 (Deep) 的 transformer 模型，通过加入中间网络层和序列位置的辅助损失 (auxiliary losses)，能够在文本压缩数据 (text8) 和维基百科压缩数据 (enwik8) 数据集上超越截断反向传播 (Truncated Backpropagation) 的 RNN 变体，实现 1.13 和 1.06 的最小比特位 (bit per character)。

    Aug, 2018

  • 图像中的视觉针在感知和描述的背景中很容易迷失

    LoCoVQA 是一个用于评估视觉语言模型（VLM）中的长篇上下文抽取推理的动态基准生成器。该测试评估了 VLM 在回答问题时如何忽略无关信息的能力，表明目前的最先进 VLM 在许多长篇上下文应用中缺乏这种关键能力。

    Jun, 2024