该研究提出了一种基于语义嵌入的高级匹配方法，通过利用用户搜索会话的语义嵌入来自动找到更多的相关查询以供广告商竞标，同时提出了解决冷启动问题的方法，该方法已在实际搜索流量中进行了测试并获得了显著的优化结果和增量收益，同时将学习到的查询嵌入开源供计算广告和相关领域的研究人员使用。

Jul, 2016

我們提出了一種多層次跨模態對齊方法，通過在三個層次（即實例級別、原型級別和語義級別）建立一個更小但更好的語義空間，對跨模態預訓練模型中的對齊進行改進，以提高下游任務的性能。實驗結果清楚地表明了我們新方法的優越性。

Jan, 2024

通过共享嵌入空间，新兴的多模态模型展示了空前的零样本能力。然而，如果不同的模态存在错位，共享嵌入空间可能会带来新的弱点。本文通过最小程度地修改图像来匹配给定文本的嵌入，展示了使用最近开发的有效基于梯度的过程，证明了我们能够通过不可察觉的对抗性攻击将可区分文本的嵌入与任意图像对齐，揭示了语义不相关的图像可以拥有相同文本的嵌入，并且在视觉上难以区分的图像可以与非常不同的文本的嵌入匹配。我们的技术在应用到来自多个来源的文本数据集和图像时达到了 100% 的成功率。如果不能克服这个弱点，多模态模型无法在语义上有意义地稳定地对齐来自不同模态的输入。

Jul, 2024

该研究提出了一种无监督的跨模态对齐框架，通过对抗训练和优化过程来实现语音和文本的嵌入空间对齐，从而帮助开发对低资源语言进行语音识别和语音到文本翻译的自动化系统，并且在分类和翻译任务上的表现与监督的方法相媲美。

May, 2018

本文提出了一种跨模态自适应信息传递模型（Cross-modal Adaptive Message Passing, CAMP），通过自适应地控制跨模态信息的流动，全面且精细地考虑跨模态交互，使用硬负样本二元交叉熵损失函数进行训练，在 COCO 和 Flickr30k 上显著超过最先进方法，显示出了我们方法的有效性。

Sep, 2019

通过引入交叉模态和单模态软标签对齐 (CUSA) 方法，我们解决了图像 - 文本检索中的两个问题：模态间匹配缺失和模态内语义损失。实验证明，我们的方法可以提升图像 - 文本检索以及单模态检索的性能，达到新的最先进水平。

Mar, 2024

本文研究零样本基于手绘图像检索（ZS-SBIR）问题，利用大规模预训练语言模型为图像提供辅助文本描述，通过交叉注意力机制在文本 - 手绘图像和文本 - 真实图像之间进行特征交换和对齐，实现零样本泛化能力，实验结果显示在三个基准数据集上，相比现有的 ZS-SBIR 方法，我们具有卓越的性能。

Jul, 2024

通过降低非重要图片和文本片段的参与度，提高对重要片段的对齐相似性，本文介绍了一种新的跨模态突出片段增强对齐网络 (CPFEAN)，该网络通过减少在对齐过程中无关区域的参与度并相对提高对齐的突出词，从而实现改进的检索准确性。与最先进的方法相比，在 MS-COCO 和 Flickr30K 数据集上进行了大量定量比较实验，结果显示本方法在 rSum 度量上的表现超过了现有方法约 5% 至 10%。

Nov, 2023

本篇研究提出了一种基于 CLIP 引导的对比学习的架构，用于执行多模态特征对齐，将来自不同模态的特征投影到一个统一的深度空间，实验结果表明，我们提出的模型在多模态讽刺检测和多模态情感分析任务中明显优于多个基准模型，我们的特征对齐策略相对于其他聚合方法和甚至富含知识的模型也带来了明显的性能增益，此外，我们的模型实现简单，无需使用特定任务的外部知识，因此可以轻松迁移到其他多模态任务。

Mar, 2024

本文提出了一种基于图像字幕生成的新型探测方法，用于研究视觉语言预训练模型中跨模态语义对齐的内部机制，发现 VLP 模型对齐的主要是对象和视觉词，忽略了全局语义，还存在固定的句子模式，无视语法和流畅性等问题。

Oct, 2022