ACLJun, 2019

文本 - 图像匹配的强大且稳健的基准线

PDF
TL;DR本文提出在文本图像匹配中使用新的训练和推导技术，首先通过实验证明了 sum loss 和 max-margin loss 存在的限制，提出了一种新的 kNN-margin loss。其次，在推导时提出一种 Inverted Softmax 和 Cross-modal Local Scaling 的技术，以减轻高维嵌入空间中的 hubness 问题，有效提升了所有指标的表现和得分。
text-image matchingtraininginferenceloss functionembedding space
发现论文，激发创造
  • 保持语义领域对稳健跨模态检索的影响

    本篇研究提出了一种方法，使用特定的 loss 函数，在保持图像和文本子空间内的语义连贯性的同时鼓励它们之间的语义协同，并改进了基线模型，以实现跨模态检索。

    Jul, 2020

  • 利用伪造的图像标题进行多模态摘要

    本文从互信息优化的角度研究了负样本对视觉语言预训练中交叉模态对比学习的影响，并提出了一种渐进式改进的交叉模态相似度对比学习策略，在理论指导下实现了对 (部分) 假负例样本有益和有害效应的平衡，这种方法在四个下游交叉模态任务中表现良好。

    May, 2023

  • 带有实例损失的双路径卷积图像 - 文本嵌入

    本文提出了一种新的系统，以区分性地嵌入图像和文本到共享的视觉 - 文本空间，通过实例损失和端到端学习的双路径卷积网络来解决图像和文本匹配问题，并在 Flickr 30k 和 MSCOCO 上达到了与最先进方法相当的准确度，同时在基于语言的人员检索中取得了很大的改进。

    Nov, 2017

  • 余弦相似度与 softmax 结合：视觉定位难以超越的基线模型

    本文提出了一种在多个图像 ROI 特征和文本嵌入之间的余弦距离上最小化交叉熵损失来实现自动驾驶视觉定位的简单方法，使用预训练网络获得初始嵌入，同时实验结果表明比采用精细注意机制或复杂度损失函数的方法表现更优，AP50 准确率达到 68.7%。

    Sep, 2020

  • HAL: 通过缓解视觉语义中心改进文本图像匹配

    本文针对视觉与语义嵌入中的 hub 问题，探讨了两种优化目标以及提出的 hubness-aware loss function 的优点，并在模型架构和数据集方面进行了实验，结果表明该方法在 text-image matching 任务中具有优良的鲁棒性并且能够带来一致性的改进。

    Nov, 2019

  • 图像分类的组合软间隔 softmax 损失

    提出了一种新的损失函数，EM-Softmax，用于训练 CNN 模型的分类任务，以解决 softmax loss 在特征区分度和分类器弱点方面的局限性，并使用 Hilbert-Schmidt 独立性准则构建弱分类器的集合，通过实验验证其优于当前状态下的 softmax loss 和其他一些算法的性能。

    May, 2018

  • 适应性离线五元组损失用于图像文本匹配

    本文介绍使用离线采样负样本与五元组损失函数来改进图像和文本匹配模型，并在 MS-COCO 和 Flickr30K 数据集上得到了显著的性能提升。

    Mar, 2020

  • 深度嵌入学习中的采样问题

    本文提出了基于距离加权采样的深度嵌入方法，用于图像检索、聚类和人脸验证任务，取得了所有数据集上的最优性能。

    Jun, 2017

  • 视觉语言模型的部分再集中软最大值损失函数鲁棒性

    通过修改预训练的多模态模型的损失函数，限制前 K 个 softmax 输出，本研究在评估和评分基础上展示了，经过微调后，预训练模型的对抗鲁棒性可以显著提高，抵御常见攻击。后续研究应该探索这种损失函数的输出多样性、泛化性以及鲁棒性与性能之间的权衡关系。本文代码会在接受后提供。

    Feb, 2024

  • 多模态张量融合和重新排序的图像和文本匹配

    我们提出了一个新的框架，使用基于排名的张量融合来显式学习准确的图像文本相似度函数，通过通用的跨模态重新排序方案实现了模型效果和模型复杂性之间的平衡，从而达到了优秀的匹配性能。

    Aug, 2019