Mar, 2024

REPAIR：用记忆对无噪声对应进行排序相关和噪声对半替换

PDF
TL;DR通过维护匹配对特征的记忆库，我们提出了一种称为 REPAIR 的广义框架，利用记忆库中的特征计算两个模态的距离并使用这两组距离的秩相关性估计目标对的软对应标签。对于完全不匹配的对，REPAIR 搜索记忆库以替换某个模态的一个特征，而不是直接使用原始对或仅丢弃不匹配的对。我们在 Flickr30K、MSCOCO 和 CC152K 三个跨模态数据集上进行了实验，证明了我们的 REPAIR 在合成和现实世界的噪声下的有效性和鲁棒性。
发现论文，激发创造
  • 通过自我加强误差缓解的噪声对应学习

    通过引入一种名为自我加强误差抑制（SREM）的新型噪声对应关系学习框架，通过将样本匹配视为批处理中的分类任务，我们生成给定样本的分类 logits，通过能量不确定性优化样本筛选，并使用交换分类熵估计所选干净样本的模型灵敏度，从而改善交叉模态检索的准确性和稳定性。同时，我们提出了交叉模态偏向性互补学习，以利用在难负例训练中被忽视的负匹配，进一步提高模型的优化稳定性和抑制自我加强错误。在具有挑战性的基准测试中进行的广泛实验证实了 SREM 的有效性和高效性。

    Dec, 2023

  • 密集检索的噪声对矫正器

    本文介绍了一种名为 Noisy Pair Corrector (NPC) 的新方法，该方法包含一个检测模块和一个校正模块，用于训练具有不匹配对噪声的有效模型，并在实验中展示了其在处理合成和实际噪声方面的出色性能。

    Nov, 2023

  • 具有元相似性校正的嘈杂对应关系学习

    该论文提出了一种元相似性纠正网络（MSCN），通过元数据提供可靠的相似性打分，同时设计了数据净化策略来降低噪声影响，提高跨模态检索方法的性能。实验结果表明该方法在处理各种噪声数据集时具有优异的表现。

    Apr, 2023

  • 学习重新匹配不匹配的配对以实现鲁棒的跨模态检索

    通过最佳传输方法和重新配对，本研究提出了一种处理来自互联网上收集的异构数据的实用框架，该框架在已有模型的基础上显著提高了鲁棒性。

    Mar, 2024

  • BiCro: 双向交叉模态相似性一致性纠正多模态数据的噪声对应关系

    该研究提出了一种名为 BiCro 的框架，可提高交叉模态匹配模型的噪声鲁棒性，通过估计噪声数据对应度的软标签来训练匹配模型。实验结果表明，该方法明显提高了各种匹配模型的抗噪声能力，并领先于同类研究成果。

    Mar, 2023

  • 噪声交叉模态匹配的负先知

    在处理含噪声的下游任务时，我们提出了一种新颖的负预知交叉模态匹配解决方案，通过负面影响评估和使用记忆库维持性能稳定，实现大型视觉语言模型的高精调。实验证明，我们的方法显著提高了匹配准确性和性能稳定性，并明显超过了现有的基准方法。

    Dec, 2023

  • 若得之则与之，语义对应学习无对标图像

    通过无标签对训练的简单而有效的方法，扩充了数据集的数量和多样性，并在基于语义的对应基准测试中取得了优于里程碑基线和最先进方法的性能提升。

    Nov, 2023

  • 跨模态主动补充学习与自我完善对应

    提出了一种新的 CRCL 框架，通过 ACL 和 SCC 方法提升现有方法的鲁棒性，具有高度准确性和稳定性，从而解决了图像 - 文本匹配中普遍存在的噪声对齐问题。

    Oct, 2023

  • 具有偏移感知相关核的注意力语义对齐

    本研究提出了一种专注于可靠的关联，过滤掉干扰信息的关注语义对齐方法，并结合偏移感知的相关内核实现优化，通过实验证明了其在语义对应问题上的卓越表现。

    Aug, 2018

  • 跨模态检索中的伪相关性检测与缓解

    本论文提出了 ODmAP@k 指标来衡量训练数据中微小对象的相关性对于跨模态检索模型的影响，并使用自动图像和文本操作来控制这种对象相关性。通过精心设计的综合数据和微调器来应对模型偏见，提高了图像 - 文本检索框架的性能表现。

    Apr, 2023