CVPRMay, 2023

ImageBind: 一个绑定所有嵌入空间的嵌入空间

PDF
TL;DRImageBind 是一种学习跨六种不同类型数据（图像、文本、音频、深度、热成像和 IMU 数据）联合嵌入的方法，只需使用图像数据对它们进行绑定。它能够实现跨模态检索、跨模态检测和生成等新颖的应用，而且表现出强大的零样本和有限样本识别能力，能够评估视觉模型的性能。
imagebindjoint embeddingmodalitieszero-shot capabilitiesfew-shot recognition
发现论文，激发创造
  • UniBind: 统一与平衡的 LLM 增强表示空间以绑定所有

    UniBind 是一种灵活高效的方法，利用大型语言模型（LLMs）学习统一的表示空间，用于处理多模态数据，实现零样本识别并在多模态微调中取得新的最先进性能。

    Mar, 2024

  • ImageBind-LLM：多模态指令调整

    我们提出了 ImageBind-LLM，一种通过 ImageBind 进行大型语言模型（LLM）的多模态指令调优方法。我们的方法可以响应多模态条件，包括音频、三维点云、视频以及它们的嵌入空间算术，仅通过图像文本对齐训练。我们的模型表现出卓越的多模态指令跟随能力，并具有显著的语言生成质量。

    Sep, 2023

  • GEOBIND：通过卫星图片绑定文本、图像和音频

    远程感知中，我们关注的是对一些地理位置建模的各种方式。我们提出了一种名为 GeoBind 的深度学习模型，可以从地理位置的卫星图像中推断出文本、图像和音频等多个模态。我们的方法不需要包含所有上述模态的单个复杂数据集，而只需要多个卫星图像配对数据。与传统的单模态模型不同，我们的结果表明，GeoBind 是多功能的，并且能够针对给定的卫星图像输入推理出多个模态。

    Apr, 2024

  • OmniBind: 教授建立不等比例模态互动以实现全方位绑定

    通过提出 OmniBind 框架，该研究解决了多模态学习中训练和推理阶段模态组合不匹配和尺度不均衡的问题，通过跨模态对齐蒸馏和自适应融合模块，实现了任意模态组合和统一表示空间的学习，具有较高的性能提升。

    May, 2024

  • 语言绑定：通过基于语言的语义对齐将视频 - 语言预训练扩展到 N - 模态

    我们提出了一种称为 LanguageBind 的方法，通过冻结 VL 预训练得到的语言编码器，然后使用对比学习训练其他多模态编码器，实现多模态语义对齐，同时我们还提出了 VIDAL-10M 数据集用于此目的，经过在该数据集上的预训练，我们在零样本视频文本检索方面优于 ImageBind 1.2％ R@1，并且在零样本视频，音频，深度和红外理解任务方面也取得了显著改进。

    Oct, 2023

  • MEDBind：统一语言与多模式医疗数据嵌入

    通过联合心胸纵观文本（MEDBind）, 我们实现了心胸 X 射线（CXR）、心电图（ECG）和医疗文本的联合嵌入，并通过模态 - 文本对的对比损失函数 Edge-Modality Contrastive Loss 实现了 CXR、ECG 和文本的统一嵌入空间，这一无缝整合通过将 CXR 和 ECG 嵌入直接集成到一个大型语言模型中以实现多模态提示调优，优化了下游任务的性能。

    Mar, 2024

  • LLMBind: 一个统一的模态 - 任务集成框架

    提出 LLMBind 框架，结合大型语言模型和预训练任务模型，实现多模态任务的综合集成，通过多领域专家的协作学习来处理各种多模态任务，展示了创建统一 AI 代理模型通用模态的潜力。

    Feb, 2024

  • 跨模态图像 - 文本联合嵌入的网络监督检索

    文章提出了利用网络图像及对应标签实现鲁棒视觉 - 语义联合嵌入学习的方法，通过在有限的训练数据中引入弱标注的网络图像能够取得比当前最先进方法更显著的图像 - 文本检索性能提升。

    Aug, 2018

  • 多轮交替多模态指令跟随

    介绍了 TextBind，这是一个几乎无需标注的框架，可以为较大的语言模型赋予多轮交错的多模态指令跟随能力，通过仅使用图像 - 标题对生成多轮多模态指令 - 回应对话，从而旨在推动多模态指令跟随领域的未来研究。

    Sep, 2023

  • 点绑定与点 LLM：用于三维理解、生成和指令跟随的点云多模态对齐

    我们引入了 Point-Bind，这是一个将三维点云与二维图像、语言、音频和视频对齐的多模态模型。通过 ImageBind 的引导，我们构建了三维和多模态之间的联合嵌入空间，实现了许多有前景的应用，例如任意到三维生成、三维嵌入算术和三维开放世界理解。此外，我们还提出了 Point-LLM，这是第一个遵循三维多模态指令的三维大型语言模型（LLM）。通过参数高效的微调技术，Point-LLM 将 Point-Bind 的语义注入到预训练的 LLM 中，例如 LLaMA，它不需要三维指令数据，但具有出色的三维和多模态问答能力。我们希望我们的工作可以为扩展三维点云到多模态应用的社区照亮一线。

    Sep, 2023