Mar, 2022

跨模态对比表示学习中的模态差距理解

PDF
TL;DR该研究提出了模态间隙这一多模型表示空间中的有趣几何现象，对此进行了系统分析，以及对构成格局的模型初始化和对比学习优化进行了实证和理论上的解释。研究表明，严格维持不同数据模态之间的分离效用，有助于提高模型的下游分类性能和公平性。
modality gapmulti-modal modelsclipcontrastive learningzero-shot classification
发现论文，激发创造
  • 非模态鸿沟：对比鸿沟的特征与解决

    在多模态对比模型中存在模态差距（modality gap），且对比损失（contrastive loss）实际上导致了这种差距。为了解决这个问题，研究人员通过将单模态对比损失的均匀性和对齐性原则引入到多模态环境中，改进了对比损失函数（CLIP loss），使得嵌入更均匀地分布在表示空间中，从而消除了差距，进而在零样本图像分类和多模态算术等下游任务中实现了更好的性能。

    May, 2024

  • 两种效应，一个触发器：关于对比式视觉语言表示学习中的模态差异、物体偏见和信息不平衡

    鉴于多模态差异，对象偏差及信息不平衡等因素，本研究通过对比视觉语言模型进行深入调查并提出了量化对象偏差的方法，揭示了信息不平衡是产生多模态差异和对象偏差的驱动因素。

    Apr, 2024

  • 缓解差距：研究提升 CLIP 中跨模态对齐的方法

    通过设计 AlignCLIP，本文回答了共享多模态编码器参数空间是否减少模态间隙以及通过内部模态分离是否可以缓解间隙的两个主要问题，并通过大量实验证明了 AlignCLIP 在嵌入的跨模态对齐上取得了显著的改进，从而减少了模态间隙，并在零样本图像分类、零样本多模态检索和零样本语义文本相似性等多个下游评估中保持了性能。

    Jun, 2024

  • 几何多模态对比表示学习

    本研究提出了一种名为 Geometric Multimodal Contrastive (GMC) 的表示学习方法，采用两级体系结构和多模态对比损失函数，可用于处理缺失数据，在三个不同的学习问题上实现了最先进的性能。

    Feb, 2022

  • 多模式表示学习中潜在模态结构的理解与构建

    我们提出了三种构建潜在模态结构的通用方法，涵盖了深度特征分离，布朗桥损失和几何一致性损失，通过广泛的实验在多个任务上获得一贯的性能提升。

    Mar, 2023

  • 多模态学习中对比损失的重要性

    通过分析一个简单的多模态对比学习模型的训练动态，我们展示了对比对是提高学习效率和平衡学习表示非常重要的因素。特别地，正对会驱使模型在增加条件数的代价下对齐表示，而负对将减小条件数，保持表示的平衡。

    Apr, 2023

  • 麻省理工学院提出了新的多模态混合方法 —— 测地线多模态混合，以实现强化微调

    本研究提供了一种理解多模态嵌入的视角，并提出了一种新的端到端微调方法，以鼓励更好的统一性和对齐得分，通过大量的检索、分类和结构感知任务的实验，证明了我们的地球多模态 Mixup 学习到了一个强健的表示，并在各种下游任务上提供了改进的性能。

    Mar, 2022

  • 理解和弥合语音翻译的模态差距

    本文研究对于 ST 和 MT 之间的通道差，提出了一种名为 Cress 的跨模态规范化方法。通过输出 ST 和 MT 的预测值，使用采样和不同训练权重来处理难以处理的情况，实现了在 MuST-C 数据集的八个方向上取得了显著效果。

    May, 2023

  • 对比建模：一种高效的多模态生成模型框架

    通过对比学习，训练多模式生成模型不仅关注多模式信息的共性，还关注相关和非相关的多模式数据之间的区别，使得可以更加有效地利用未标记的、不成对的多模态数据。

    Jul, 2020

  • 基于多视角对比学习提升情感分析中形式表征

    本文探索了应用对比学习改进模态表征的方法，提出了三阶段的多视角对比学习框架，通过监督和自监督对比学习来改进单模态和融合的多模态表征，并成功提高了多模态情感分析任务的效果。

    Oct, 2022