对比交叉模态模型如 CLIP 和 CLAP 对视觉 - 语言（VL）和音频 - 语言（AL）任务有所帮助，本篇研究评估了无监督和监督的句子嵌入训练对语言编码器质量和交叉模态任务性能的影响，发现句子嵌入训练有助于提高对比 VL 模型的性能，但在 AL 预训练中效果较少，可能是由于预训练数据量有限所致。通过对表示空间的分析，句子嵌入训练改善了文本空间的均匀性，但降低了交叉模态对齐性。

Oct, 2023

通过改进训练策略，对双编码器模型进行优化，提高了语义相似性的检索结果，同时保持了零样本分类和检索准确性。

May, 2024

本文通过使用单领域编码器和较少的图文对，证明可以在不进行任何训练的情况下创建一个共同的空间，并且该模型对于基于图文模型的转移效果很好。

Oct, 2022

使用预训练的视觉 - 语言模型对查询图像和细致的文本描述进行对齐可以显著增强零样本性能，因此我们提出了一种加权视觉 - 文本交叉对齐（WCA）方法，该方法通过局部视觉提示技术确定查询图像中的局部视觉区域，并通过创建基于预训练视觉 - 语言模型的相似性矩阵将这些局部视觉区域与细致的描述进行对齐，然后根据此矩阵中的加权相似度开发了一个评分函数来确定查询图像与每个类别的对齐情况，实验证明我们的方法显著提高了零样本性能，结果甚至可以与少样本学习方法相媲美。

Jun, 2024

该研究探讨了文本型的语言模型对外部世界的表示程度。研究发现，通过单一的线性变换，可以将视觉模型的特征表示连续地传递给被固定的文本型语言模型，从而取得了与同时调整图像和文本的模型相同的指标。研究表明，语言模型的概念表示与以图像为基础的模型在结构上相似，甚至能够转移视觉信息。

Sep, 2022

通过简单的转换，我们的研究展示了神经网络模型中学习到的表示可以在不同的预训练网络之间进行转化，从而有效地连接编码器和解码器，并实现在多模态设置下的出色分类性能。

Nov, 2023

本文研究视觉特征的表征方式，并探讨了通过将视觉识别任务和视觉问答任务各自对应的语言表示方式建立联系，以实现更好的跨任务数据迁移的方法。结果表明，这种方法比常规的多任务学习方法更有效，并且能够大幅提高在视觉识别任务和视觉问答任务上的准确率。

Apr, 2017

该研究论文提出了一种基于聚类表示学习的多模态信号对齐方法，使用字典聚类编码将图像和文本编码到一个共同的编码空间中，并采用师生蒸馏的方法进一步优化学习过程，在多种视觉语言基准测试中取得了最新的最佳结果。

Feb, 2022

研究了在视觉与语言任务中使用大规模预训练模型 CLIP 作为视觉编码器以及其优势，通过在特定任务中微调和在预训练模型中与 V&L 相结合传递到下游任务，CLIP 显著优于现有的视觉编码器，并在多种视觉与语言任务中取得竞争或更好的结果，同时取得了 Visual Question Answering，Visual Entailment 和 V&L Navigation 等任务的新高峰。

Jul, 2021

本文提出了一种基于图像字幕生成的新型探测方法，用于研究视觉语言预训练模型中跨模态语义对齐的内部机制，发现 VLP 模型对齐的主要是对象和视觉词，忽略了全局语义，还存在固定的句子模式，无视语法和流畅性等问题。

Oct, 2022