Jul, 2022

ALADIN：用于高效图像 - 文本匹配和检索的细粒度对齐分数压缩

PDF
TL;DR本文提出了一种名为 ALADIN 的图文匹配方法，该方法通过精细的图像文本层次对齐产生高效得分，并通过蒸馏从层次对齐中获得的相关性得分，学习共享的嵌入空间，可在近乎 90 倍的速度下与最先进的 VL Transformer 网络相竞争，具有横跨视觉和语言的领先地位。
image-text matchingcross-modal retrievalvl transformer networksalignmentdistillation
发现论文，激发创造
  • 面向快速准确的图像文本检索与自监督细粒度对齐

    在这项工作中，我们在独立嵌入框架之上提出了一个图像 - 文本对齐模块 SelfAlign，通过自监督对比学习在概念级和语境级强制进行图像 - 文本对齐，提高了检索准确性同时保持了检索效率。

    Aug, 2023

  • ALADIN：全层自适应实例标准化进行细粒度风格相似度计算

    ALADIN 是一种基于样式相似度搜索图像的新型架构，其利用 BAM-FG 数据集进行了微弱监督学习，实现了对数码艺术品的细粒度样式相似性表示，成为了针对基于风格的视觉搜索的最新标杆。

    Mar, 2021

  • MCAD: 多教师跨模态对齐蒸馏以实现高效的图像 - 文本检索

    使用多教师跨模态对齐蒸馏技术 (MCAD)，通过在双流模型中融合单流特征提高学生模型的检索性能，同时实现高效的图像 - 文本检索任务，降低模型大小和终端设备部署的复杂性。

    Oct, 2023

  • 基于逐层分步对齐的图像 - 文本匹配网络

    本文提出了一种逐步分层对齐网络 (SHAN) 的图像 - 文本匹配方法，将图像 - 文本匹配分解成多步跨模态推理过程以捕捉层次化的细粒度相关性，并在两个基准数据集上进行了实验。

    Jun, 2021

  • 对齐蒸馏：神经机器翻译中用于知识蒸馏的可训练注意力对齐

    通过学生模型与教师模型的自适应对齐，'Align-to-Distill'（A2D）策略在 Transformer 架构的知识蒸馏中解决了特征映射问题，实验证明 A2D 相较于 Transformer 基准模型，在 WMT-2022 的 De->Dsb 和 WMT-2014 的 En->De 翻译任务中分别获得了 + 3.61 和 + 0.63 BLEU 得分的提升。

    Mar, 2024

  • 视频文本检索的统一粗细对齐

    通过联合考虑不同粒度的跨模态相似性，我们提出了一种统一的多粒度对齐模型 UCoFiA，显著优于以前的基于 CLIP 方法，在多个视频 - 文本检索基准上表现出了 2.4％，1.4％和 1.3％的文本到视频检索 R@1 改进。

    Sep, 2023

  • 划分、评估与改进：基于迭代 VQA 反馈的文本到图像对齐的评估和改进

    通过分解式对齐评估和改进文本到图像的对齐效果，并使用 Decompositional-Alignment-Score 和 VQA 模型来测量不同断言的对齐度。实验结果表明，这种对齐度指标与人类评分高度相关，并且断言级别的对齐度评分可用于逐步提高最终图像输出中不同断言的表达。人类用户研究表明，该方法在整体文本到图像对齐准确性方面超过了之前的最先进方法 8.7%。

    Jul, 2023

  • 在融合之前对齐：使用动量蒸馏进行视觉和语言表示学习

    本研究介绍了一种名为 ALBEF 的对齐图像和文本表示的方法，该方法利用交叉模态注意力通过对比损失对齐视觉和语言特征，以实现更可靠的视觉和语言表征学习。研究表明，该方法在多种下游视觉语言任务上实现了最好的性能。

    Jul, 2021

  • 快与慢的思考：利用 Transformer 进行高效的文本 - 图像检索

    本研究通过将视觉和文本独立地映射到联合嵌入空间中的双编码器方法和使用跨注意力的视觉文本变压器方法来进行大规模图像和视频数据集的基于语言的搜索，并将两种方法相结合，提高了检索准确性并确保了可扩展性，同时还引入了新的细粒度跨注意力架构，并通过蒸馏和重新排序结合了快速双编码器模型和缓慢但准确的变压器模型，并在 Flickr30K 图像数据集和 VATEX 视频数据集上验证了该方法。

    Mar, 2021

  • 图像文本匹配的交叉堆叠注意力

    本文研究图像文本匹配问题，提出了一种使用交叉注意力机制的方法来发现包括图像区域和句子单词在内的全部潜在对齐，从而推断图像与文本之间的相似性，实验结果在 MS-COCO 和 Flickr30K 数据集上均表现为最先进的水平。

    Mar, 2018