ICLRFeb, 2024

CLIP-MUSED: CLIP 引导下的多主体视觉神经信息语义解码

PDF
TL;DR通过使用 CLIP 引导的多主题视觉神经信息语义解码（CLIP-MUSED）方法，我们提出了一种可以解决单一主题解码模型泛化到多个主题的挑战，并克服了有限的单一主题数据对模型性能的约束的方法。
decoding visual neural informationmulti-subject decoding methodsglobal neural response featuressubject-specific tokensrepresentational similarity analysis
发现论文，激发创造
  • BrainCLIP：基于 CLIP 框架的大脑和视觉 - 语言表示连通，用于基于 fMRI 的自然视觉刺激解码

    本文提出了一种跨模态的大脑解码模型 BrainCLIP，通过将图像和文本监督在语义空间中相结合，将 fMRI 模式转换为 CLIP 嵌入空间，实现了自然图像的高级特征还原和语义解码。

    Feb, 2023

  • CLIP 解码器：使用多模态 CLIP 对齐表示进行零样本多标签分类

    多标签分类的零样本学习方法，通过引入 CLIP-Decoder 的多模态表示学习，在零样本多标签分类任务中表现出前沿结果，相较于现有方法在性能上提升了 3.9％，在广义零样本多标签分类任务中提升了近 2.3％。

    Jun, 2024

  • M2-CLIP: 视频动作识别的多模态多任务自适应框架

    该研究介绍了一种名为 \name 的新型多模态、多任务 CLIP 自适应框架，通过引入多模态适配器和多任务解码器，实现强大的监督学习性能和在零样本场景中的强大泛化能力。

    Jan, 2024

  • TagCLIP：一种增强无需训练的 CLIP 开放词汇多标签分类的本地到全局框架

    通过局部到全局的框架，我们提出了一种扩展了 CLIP 的方法来提高多标签分类性能，并通过生成的标签在弱监督语义分割任务中取得了显著的性能提升。

    Dec, 2023

  • CLIP-VIS：适应开放词汇视频实例分割

    本研究提出了一个名为 CLIP-VIS 的简单编码器 - 解码器网络，用于自适应开放词汇视频实例分割。CLIP-VIS 采用冻结的 CLIP 图像编码器，并引入了类不可知的掩码生成、时序 Top-K 增强匹配和加权开放词汇分类三个模块，实验结果表明该方法在各种视频实例分割数据集上表现出色。

    Mar, 2024

  • Structure-CLIP: 使用结构信息增强多模态语言表示

    本文介绍一种结构感知的视觉 - 语言预训练模型 ——Structure-CLIP，它利用场景图实现对细粒度语义信息的关注，结合结构知识来提高多模态语言表示的表示能力，并在不同的下游任务中得到了最先进的表现。

    May, 2023

  • Cascade-CLIP: 零样本语义分割的级联视觉 - 语言嵌入对齐

    基于预训练视觉 - 语言模型的 Cascade-CLIP 方法，在零样本语义分割任务中通过引入一系列独立解码器，以级联方式将多层次的视觉特征与文本嵌入对齐，取得了优秀的性能。

    Jun, 2024

  • Multi-CLIP：针对 3D 场景中问答任务的对比视觉语言预训练

    本研究提出一种名为 MULTI-CLIP 的 3D 预训练视觉语言模型，可有效提高现有 3D 视觉问答任务的表现并构建出具有良好结构的 3D 场景特征空间。

    Jun, 2023

  • 在线嵌入多尺度 CLIP 特征于 3D 地图中

    本研究介绍了一种新的方法，将多尺度的 CLIP (对比性语言 - 图像预训练) 特征在线嵌入到 3D 地图中，通过利用 CLIP，该方法克服了传统的词汇有限方法的限制，并将语义信息融入到生成的地图中，从而高效地计算和嵌入多尺度 CLIP 特征，并且通过将 CLIP 特征嵌入到结果地图中，实现了离线检索和实时对象搜索，进一步提出了一种基于地图方法的零样本对象 - 目标导航系统，并通过对象 - 目标导航、离线对象检索和多对象 - 目标导航在模拟环境和真实机器人实验中验证了其有效性，结果表明，我们的方法不仅在地图生成方面表现出更快的性能，而且在对象 - 目标导航任务的成功率方面也超过了现有的最先进方法。

    Mar, 2024

  • CLIPTrans：基于预训练模型的多模态机器翻译中的视觉知识迁移

    本研究提出了 CLIPTrans 框架，通过简单地调整预训练的多模态 M-CLIP 和多语言 mBART 模型，使它们的嵌入空间对齐，并通过轻量级映射网络对 mBART 进行条件化。实验证明该框架的优点，并将标准基准提升了平均 2.67 个 BLEU 值。

    Aug, 2023