Oct, 2023

从 CLIP 到 DINO：多模式大型语言模型中的视觉编码器喊出来

PDF
TL;DR该研究通过对多模态大型语言模型（MLLMs）中不同视觉编码器的有效性进行深入调查，发现了 CLIP 的浅层特征在细粒度任务（如定位和区域理解）中具有特殊优势。同时，研究还发现没有经过文本 - 图像对齐预训练的视觉模型 DINO 在 MLLMs 中作为视觉部分展现了有希望的性能，只需为其配备一个 MLP 层进行对齐，DINO 在细粒度相关的感知任务中超过了 CLIP。基于这些观察结果，研究提出了一种简单而有效的特征融合策略，称为 COMM，它通过多层次特征融合将 CLIP 和 DINO 结合起来，以增强 MLLMs 的视觉能力。全面的实验证明了 COMM 相较于现有方法的卓越性能，展示了其在 MLLMs 中增强的视觉能力。
multi-modal large language modelsvisual encodersclipdinocomm
发现论文，激发创造
  • LightCLIP：轻量级视觉语言模型的多层交互学习

    本文介绍了一种用于训练轻量级 CLIP 模型的多级交互范式，包括改进的全局实例级对齐目标、基于放松二分匹配的令牌级对齐目标以及使用遮蔽语言建模的额外目标。实验结果表明，该方法在多个下游任务中实现了更高的性能。

    Dec, 2023

  • CLIP 能为视觉语言任务带来多大的效益？

    研究了在视觉与语言任务中使用大规模预训练模型 CLIP 作为视觉编码器以及其优势，通过在特定任务中微调和在预训练模型中与 V&L 相结合传递到下游任务，CLIP 显著优于现有的视觉编码器，并在多种视觉与语言任务中取得竞争或更好的结果，同时取得了 Visual Question Answering，Visual Entailment 和 V&L Navigation 等任务的新高峰。

    Jul, 2021

  • 多语言场景的渐进式视觉语言知识蒸馏和对齐框架

    我们提出了一个概念简单但有效的多语言 CLIP 压缩框架，并训练了一个轻量级的多语言视觉 - 语言模型 DC-CLIP，用于中文和英文环境。在零样本图像分类方面的综合实验表明，相比于现有的类似参数规模的模型，DC-CLIP 在英文环境中取得了优越的性能，在中文环境中表现出竞争性能，即使使用较少的训练数据。我们设计的训练机制证明了其有效性。

    Apr, 2024

  • 融入视觉专家解决多模态大语言模型中的信息损失

    这篇论文提出了一种通过专家混合知识增强机制来改善多模态大型语言模型 (MLLMs) 的视觉感知能力的方法，并通过集成视觉专家实现了视觉输入的更全面准确的概括，进一步提升了 MLLMs 的视觉感知能力。

    Jan, 2024

  • CLIP-DINOiser: 教授 CLIP 一些 DINO 的技巧

    我们提出了一种零样本开放词汇语义分割方法，无需任何注释，通过从自监督特征中提取出的定位先验来局部改进密集的 MaskCLIP 特征，从而显著提升 MaskCLIP 的性能并产生平滑的输出。

    Dec, 2023

  • BERT-style 和 CLIP-style 文本编码器的差异

    本文分析了 BERT-style 和 CLIP-style 文本编码器之间的差异，发现尽管对于通用文本理解任务，CLIP-style 文本编码器表现不如 BERT-style 文本编码器，但它们具备跨模态联想的独特能力，更类似于人类的感官。

    Jun, 2023

  • 机器视觉治疗：多模态大型语言模型通过去噪上下文学习增强视觉鲁棒性

    我们提出了一种有效利用 MLLMs 进行机器视觉治疗的方法，通过与去噪标签进行微调，以无监督的方式提高学习模型的性能，并通过提出的 DICL 策略解决了 MLLMs 与视觉任务的兼容性问题。

    Dec, 2023

  • Cascade-CLIP: 零样本语义分割的级联视觉 - 语言嵌入对齐

    基于预训练视觉 - 语言模型的 Cascade-CLIP 方法，在零样本语义分割任务中通过引入一系列独立解码器，以级联方式将多层次的视觉特征与文本嵌入对齐，取得了优秀的性能。

    Jun, 2024

  • 多模态 LLM 的视觉缺陷探究

    通过对 CLIP 模型的视觉嵌入空间与仅视觉自监督学习的对比研究，我们发现最新的多模态大型语言模型（MLLMs）在视觉能力方面仍然存在系统性缺陷。为了解决这些问题，我们提出了一种特征混合（MoF）方法，通过将视觉自监督学习特征与 MLLMs 相结合，显著提高了它们的视觉基础能力，从而表明视觉表示学习仍然是一个待解决的问题，并且准确的视觉基础对于未来成功的多模态系统至关重要。

    Jan, 2024

  • 强大的 CLIP：用于强大的大规模视觉 - 语言模型的无监督对抗微调的视觉嵌入

    我们提出了一种无监督的对抗微调方案来获得强大的 CLIP 视觉编码器，从而在依赖于 CLIP 的所有视觉下游任务（VLM，零样本分类）中获得强大的鲁棒性。

    Feb, 2024