Apr, 2024

深度增强学习：一种全新的图像文本匹配协作方法

PDF
TL;DR图像 - 文本匹配仍然是一项具有挑战性的任务，由于模态之间异构的语义多样性和三元组内不足的距离可分性。与之前的方法不同，我们旨在通过增强聚类方法中的知识转移来寻求更强大的匹配模型。具体地说，我们提出了一种全新的深度增强学习（DBL）算法，其中锚点分支首先被训练以提供对数据属性的洞察，而目标分支获取更先进的知识以开发出最佳特征和距离度量。通过实验证实，我们的 DBL 能够在图像 - 文本匹配领域的各种最新先进模型的基础上取得令人印象深刻且一致的改进，并且优于相关的普遍合作策略，例如常规蒸馏、互联学习和对应学习。此外，我们证实 DBL 可以无缝集成到它们的训练场景中，并在相同的计算成本下实现卓越性能，从而展示了我们提出的方法的灵活性和广泛适用性。我们的代码可以在此 https URL 上公开获取。
发现论文，激发创造
  • 学习用于图像文本匹配任务的双分支神经网络

    本文研究了两种神经网络结构用于学习图像和语言之间的相似性，其中一种网络结构学习了一个共享的潜在嵌入空间，另一种网络结构通过元素乘积将两个数据模态融合，并且实现了对于句子和图像的双向检索，取得了良好的结果。

    Apr, 2017

  • 学习深度结构保持的图像文本嵌入

    提出使用双分支神经网络进行联合嵌入图像和文本的方法，包含多层线性投影和非线性激活函数，通过结合度量学习和交叉视图约束优化进行训练，实验结果表明该方法在图像 - 文本检索和短语定位任务上具有显著性能改进。

    Nov, 2015

  • 消除三元组模糊性：语言引导图像检索的共识网络

    本文提出了一种名为 Css-Net 的共识网络模型，通过包含四个不同组成者的共识模块，采用 Kullback-Leibler 散度损失来使它们通过学习减少从噪声三元组中学习到的偏差并达成一致，进而减轻三元组歧义问题，提高基准测试的重要性能。

    Jun, 2023

  • 双模态注意力增强的文本 - 视频检索与三元局部对比学习

    通过改进对比学习方法，引入新的技术，分别利用文本和视觉线索，从中挖掘出困难负样例，并且能够自适应地确定它们对训练损失的影响；同时，通过构建部分有序三元组样本来模拟细粒度语义相似性，以提高文本 - 视频检索的性能。

    Sep, 2023

  • Co-matching: 通过增强锚定来对抗噪声标签

    本文提出了一种称为 Co-matching 的学习算法，通过增强锚定来平衡两个神经网络之间的一致性和不一致性，既不会过多地依赖于噪声标签，也具有分类性能。

    Mar, 2021

  • 跨模态图像 - 文本联合嵌入的网络监督检索

    文章提出了利用网络图像及对应标签实现鲁棒视觉 - 语义联合嵌入学习的方法，通过在有限的训练数据中引入弱标注的网络图像能够取得比当前最先进方法更显著的图像 - 文本检索性能提升。

    Aug, 2018

  • 跨模态主动补充学习与自我完善对应

    提出了一种新的 CRCL 框架，通过 ACL 和 SCC 方法提升现有方法的鲁棒性，具有高度准确性和稳定性，从而解决了图像 - 文本匹配中普遍存在的噪声对齐问题。

    Oct, 2023

  • 适应性离线五元组损失用于图像文本匹配

    本文介绍使用离线采样负样本与五元组损失函数来改进图像和文本匹配模型，并在 MS-COCO 和 Flickr30K 数据集上得到了显著的性能提升。

    Mar, 2020

  • 保持语义领域对稳健跨模态检索的影响

    本篇研究提出了一种方法，使用特定的 loss 函数，在保持图像和文本子空间内的语义连贯性的同时鼓励它们之间的语义协同，并改进了基线模型，以实现跨模态检索。

    Jul, 2020

  • 带有实例损失的双路径卷积图像 - 文本嵌入

    本文提出了一种新的系统，以区分性地嵌入图像和文本到共享的视觉 - 文本空间，通过实例损失和端到端学习的双路径卷积网络来解决图像和文本匹配问题，并在 Flickr 30k 和 MSCOCO 上达到了与最先进方法相当的准确度，同时在基于语言的人员检索中取得了很大的改进。

    Nov, 2017