Dec, 2023

通过自我加强误差缓解的噪声对应学习

PDF
TL;DR通过引入一种名为自我加强误差抑制（SREM）的新型噪声对应关系学习框架，通过将样本匹配视为批处理中的分类任务，我们生成给定样本的分类 logits，通过能量不确定性优化样本筛选，并使用交换分类熵估计所选干净样本的模型灵敏度，从而改善交叉模态检索的准确性和稳定性。同时，我们提出了交叉模态偏向性互补学习，以利用在难负例训练中被忽视的负匹配，进一步提高模型的优化稳定性和抑制自我加强错误。在具有挑战性的基准测试中进行的广泛实验证实了 SREM 的有效性和高效性。
发现论文，激发创造
  • 具有元相似性校正的嘈杂对应关系学习

    该论文提出了一种元相似性纠正网络（MSCN），通过元数据提供可靠的相似性打分，同时设计了数据净化策略来降低噪声影响，提高跨模态检索方法的性能。实验结果表明该方法在处理各种噪声数据集时具有优异的表现。

    Apr, 2023

  • 跨模态主动补充学习与自我完善对应

    提出了一种新的 CRCL 框架，通过 ACL 和 SCC 方法提升现有方法的鲁棒性，具有高度准确性和稳定性，从而解决了图像 - 文本匹配中普遍存在的噪声对齐问题。

    Oct, 2023

  • 噪声交叉模态匹配的负先知

    在处理含噪声的下游任务时，我们提出了一种新颖的负预知交叉模态匹配解决方案，通过负面影响评估和使用记忆库维持性能稳定，实现大型视觉语言模型的高精调。实验证明，我们的方法显著提高了匹配准确性和性能稳定性，并明显超过了现有的基准方法。

    Dec, 2023

  • REPAIR：用记忆对无噪声对应进行排序相关和噪声对半替换

    通过维护匹配对特征的记忆库，我们提出了一种称为 REPAIR 的广义框架，利用记忆库中的特征计算两个模态的距离并使用这两组距离的秩相关性估计目标对的软对应标签。对于完全不匹配的对，REPAIR 搜索记忆库以替换某个模态的一个特征，而不是直接使用原始对或仅丢弃不匹配的对。我们在 Flickr30K、MSCOCO 和 CC152K 三个跨模态数据集上进行了实验，证明了我们的 REPAIR 在合成和现实世界的噪声下的有效性和鲁棒性。

    Mar, 2024

  • BiCro: 双向交叉模态相似性一致性纠正多模态数据的噪声对应关系

    该研究提出了一种名为 BiCro 的框架，可提高交叉模态匹配模型的噪声鲁棒性，通过估计噪声数据对应度的软标签来训练匹配模型。实验结果表明，该方法明显提高了各种匹配模型的抗噪声能力，并领先于同类研究成果。

    Mar, 2023

  • 学习重新匹配不匹配的配对以实现鲁棒的跨模态检索

    通过最佳传输方法和重新配对，本研究提出了一种处理来自互联网上收集的异构数据的实用框架，该框架在已有模型的基础上显著提高了鲁棒性。

    Mar, 2024

  • 面向对比表示学习的理论驱动的自标签细化方法

    本文提出并证明：传统的无监督对比学习的标签裁定策略会降低图像检索的性能，本文的自标记策略包括自标记精炼器和动量混合，可以提高无监督对比学习的泛化性能和预测准确性，实验表明本文算法在 CIFAR10、ImageNet、VOC 和 COCO 数据集上有效。

    Jun, 2021

  • 半监督语义匹配

    本文提出了一种半监督学习框架，为无标签图像对增加循环一致性限制，在监督丢失和无监督训练中实现了最先进的语义匹配性能。

    Jan, 2019

  • 噪声标签学习中的表征与分类器解耦

    本文提出了一种名为 REED 的新方法来解决卷积神经网络在存在噪声标签时训练的挑战，该方法通过无监督学习获取表示，通过分类器的半监督自训练解决噪声标签学习问题，并联合半监督重新训练表示和分类器，实现了对噪声标签的鲁棒性，大量实验结果表明，该方法在高噪声水平下可以显著击败现有的最先进方法。

    Nov, 2020

  • 自监督对比学习用于稳健的音乐 - 乐谱检索系统

    我们通过自监督对比学习的方法，研究了如何减轻多模态音乐检索模型中标注数据稀缺的限制，并提出了经过预训练的模型能够更好地检索音乐片段，并在交叉模态的作品识别任务中获得更好的检索质量的观察结果。

    Sep, 2023