KDDJun, 2024

提升跨语言跨模态检索中的一致性：基于 1-to-K 对比学习

PDF
TL;DR提出了一种简单但有效的 1 对 K 对比学习方法，平等对待每种语言，消除错误传播和优化偏差的问题，并提出了一个新的评估指标 Mean Rank Variance（MRV），来反映每个实例内不同语言之间的排名不一致。在四个 CCR 数据集上进行的广泛实验表明，我们的方法在小规模预训练数据上提高了召回率和 MRV，并取得了新的最新成果。
cross-lingual cross-modal retrievalcontrastive learningintra-modal error propagationinter-modal optimizationmean rank variance
发现论文，激发创造
  • CL2CM: 通过跨语言知识转移提升跨语言跨模态检索

    跨语言跨模态检索致力于在不使用任何标注的视觉 - 目标语言数据对的情况下实现视觉和目标语言之间的对齐。本研究提出了一种名为 CL2CM 的通用框架，使用跨语言转移改善了视觉和目标语言之间的对齐，可在跨模态网络中为可靠全面的语义对应（知识）提供优势，并通过在多语言图像 - 文本数据集和视频 - 文本数据集上进行实验验证了其高潜力和有效性。

    Dec, 2023

  • 双视图课程优化输运用于跨语言跨模态检索

    通过 Dual-view Curricular Optimal Transport（DCOT）在跨语言跨模态检索中学习带有噪声的对应关系，从而解决机器翻译产生的不完美翻译问题，实验证明了该方法的有效性和鲁棒性。

    Sep, 2023

  • CoVLR：协调跨模态一致性和内部模态结构的视觉语言检索

    本论文提出了一种名为 Coordinated Vision Language Retrieval (CoVLR) 的新方法，利用 meta-optimization 来协调交叉模态对齐和单模态群集维护，从而同时确保交叉模态一致性和单模态结构，实验结果表明 CoVLR 方法能够提高单模态检索准确性，同时保留跨模态检索能力。

    Apr, 2023

  • 无监督的具有语言模型的对比一致排序

    通过引入对比一致性搜索（CCR）方法，我们研究了语言模型排名任务中的一致性排名，结果证实 CCR 探测优于提示，甚至与提示更大的语言模型性能相当。

    Sep, 2023

  • 层次网络多粒度融合的跨模态相关学习

    本文提出了一种跨模态相关学习方法，通过层级网络的多粒度融合实现多级别关联，在保留内 - 外模态互补上下文的同时，采用多任务学习策略平衡内 - 外模态的约束，成功地将粗细模型进行融合以实现精确的跨模态相关性，实验结果表明我们的方法在多个数据集上表现出色。

    Apr, 2017

  • 对比交叉模态知识共享预训练用于视觉语言表示学习和检索

    本研究提出了一种名为 COOKIE 的对比交叉模态知识共享预训练方法，采用传统的双流结构并结合两个有效的模块实现文本 - 图像联合表征，旨在提高跨模态检索的计算效率和统计指标。

    Jul, 2022

  • 连接多模态对比表示

    本文提出了一种用于跨多个模态学习的训练有效方法 C-MCR，无需成对训练数据，通过在重叠的模态 B 上对现有的 MCR 进行连接和对齐，实现了跨模态匹配，进一步引入语义增强技术以提高准确性。将该方法应用于视听对比性学习，不仅无需使用成对数据，还可以在多个数据集上获得最先进的性能表现。

    May, 2023

  • 基于对比学习的语言无关多语种信息检索

    通过利用平行语料库和非平行语料库，采用对比学习等方法，有效提高了预训练多语言语言模型的跨语言传递能力，同时显著提高了检索性能，且计算成本较低。

    Oct, 2022

  • 多模态检索与排序的广义对比学习

    我们提供了一个大规模的数据集，以促进未来的研究和评估，随后我们提出了一种用于多模态检索和排序的广义对比学习方法 (GCL)，其设计用于从细粒度排序中学习，实验结果表明，与基线模型 CLIP 相比，GCL 在域内任务中的 NDCG@10 增加 94.5%，在冷启动评估中增加了 26.3 至 48.8%。

    Apr, 2024

  • C2KD: 跨语言跨模态知识蒸馏在多语言文本 - 视频检索中的应用

    本研究提出了一种跨语言跨模态知识蒸馏的方法，使用跨语言文本数据训练学生模型，以匹配用英语文本数据训练的教师模型的跨模态预测。通过引入新的多语言视频数据集 Multi-youcook2 验证了该方法的有效性。

    Oct, 2022