CVPRMar, 2023

BiCro: 双向交叉模态相似性一致性纠正多模态数据的噪声对应关系

PDF
TL;DR该研究提出了一种名为 BiCro 的框架，可提高交叉模态匹配模型的噪声鲁棒性，通过估计噪声数据对应度的软标签来训练匹配模型。实验结果表明，该方法明显提高了各种匹配模型的抗噪声能力，并领先于同类研究成果。
cross-modal matchingmultimodal datasetsdata pairsnoisy databicro
发现论文，激发创造
  • 具有元相似性校正的嘈杂对应关系学习

    该论文提出了一种元相似性纠正网络（MSCN），通过元数据提供可靠的相似性打分，同时设计了数据净化策略来降低噪声影响，提高跨模态检索方法的性能。实验结果表明该方法在处理各种噪声数据集时具有优异的表现。

    Apr, 2023

  • 跨模态相似性学习：一种低秩双线性表达

    本研究提出一种基于交叉模态相似性学习算法的跨媒体特征匹配方法，通过双线性约束和核范数惩罚实现低秩表示，并应用加速迭代最小化算法实现快速收敛。实验结果表明，在三个知名的图像 - 文本跨媒体检索数据库中，本方法较之现有算法具有更佳性能。

    Nov, 2014

  • 跨模态主动补充学习与自我完善对应

    提出了一种新的 CRCL 框架，通过 ACL 和 SCC 方法提升现有方法的鲁棒性，具有高度准确性和稳定性，从而解决了图像 - 文本匹配中普遍存在的噪声对齐问题。

    Oct, 2023

  • 通过自我加强误差缓解的噪声对应学习

    通过引入一种名为自我加强误差抑制（SREM）的新型噪声对应关系学习框架，通过将样本匹配视为批处理中的分类任务，我们生成给定样本的分类 logits，通过能量不确定性优化样本筛选，并使用交换分类熵估计所选干净样本的模型灵敏度，从而改善交叉模态检索的准确性和稳定性。同时，我们提出了交叉模态偏向性互补学习，以利用在难负例训练中被忽视的负匹配，进一步提高模型的优化稳定性和抑制自我加强错误。在具有挑战性的基准测试中进行的广泛实验证实了 SREM 的有效性和高效性。

    Dec, 2023

  • 交叉的字幕：MS-COCO 的扩展内模态和跨模态语义相似性评估

    本研究扩展了 MS-COCO 数据集，提出了 Crisscrossed Captions (CxC)，用于评估跨模态训练和评估，可用于研究跨模态学习对内模态任务的影响，并对现有内模态和多模态模型进行了基准测试。

    Apr, 2020

  • 通过学习和转移单模相似度实现对抗性跨模检索

    本文提出了一种名为交叉模态相似性转移的方法，以无监督的方式学习和保持不成对但语义上相似的数据项目之间的联系，并在类别和对排序检索任务中表现出了优于现有技术的结果。

    Apr, 2019

  • 连接多模态对比表示

    本文提出了一种用于跨多个模态学习的训练有效方法 C-MCR，无需成对训练数据，通过在重叠的模态 B 上对现有的 MCR 进行连接和对齐，实现了跨模态匹配，进一步引入语义增强技术以提高准确性。将该方法应用于视听对比性学习，不仅无需使用成对数据，还可以在多个数据集上获得最先进的性能表现。

    May, 2023

  • 基于跨模态相似性的课程学习在图像描述中的应用

    该研究提出一种基于跨模态相似性的难度度量方法，用于图像字幕生成模型的训练，并在 COCO 和 Flickr30k 数据集上验证了其有效性，证明其在难样本和未见数据上表现出较高的泛化能力。

    Dec, 2022

  • 高效双向跨模态聚类匹配用于无监督可见 - 红外人员重识别

    该研究提出了一种针对不同模态的行人图像进行无监督匹配的学习框架，该框架主要包括基于双向聚类匹配的跨模态簇匹配算法、模态特定和模态不可知对比学习框架以及跨模态一致性约束，实验表明该方法明显优于现有方法。

    May, 2023

  • REPAIR：用记忆对无噪声对应进行排序相关和噪声对半替换

    通过维护匹配对特征的记忆库，我们提出了一种称为 REPAIR 的广义框架，利用记忆库中的特征计算两个模态的距离并使用这两组距离的秩相关性估计目标对的软对应标签。对于完全不匹配的对，REPAIR 搜索记忆库以替换某个模态的一个特征，而不是直接使用原始对或仅丢弃不匹配的对。我们在 Flickr30K、MSCOCO 和 CC152K 三个跨模态数据集上进行了实验，证明了我们的 REPAIR 在合成和现实世界的噪声下的有效性和鲁棒性。

    Mar, 2024