混合传递网络实现跨模态共同表示学习

IJCAIJun, 2017

混合传递网络实现跨模态共同表示学习

Cross-modal Common Representation Learning by Hybrid Transfer Network

Xin Huang, Yuxin Peng, Mingkuan Yuan

TL;DR该论文提出了 Cross-modal Hybrid Transfer Network (CHTN)，包含两个子网络：Modal-sharing transfer subnetwork 和 Layer-sharing correlation subnetwork，用于在不同模态之间进行知识迁移和跨模态检索。

Abstract

dnn-based cross-modal retrieval is a research hotspot to retrieve across different modalities as image and text, but existing methods often face the challenge of insufficient cross-modal training data. In single-

dnn-based cross-modal retrieval insufficient cross-modal training data single-modal datasets knowledge transfer cross-modal hybrid transfer network

发现论文，激发创造

MHTN: 跨模态检索的模态对抗式混合迁移网络

本文提出了一种基于模态对抗混合传输网络（MHTN）的跨模态检索方法，实现了从单模态源领域到跨模态目标领域的知识转移，并学习跨模态公共表示，通过四个常用数据集的综合实验，证明了该方法的有效性和普适性。

Aug, 2017

层次网络多粒度融合的跨模态相关学习

本文提出了一种跨模态相关学习方法，通过层级网络的多粒度融合实现多级别关联，在保留内 - 外模态互补上下文的同时，采用多任务学习策略平衡内 - 外模态的约束，成功地将粗细模型进行融合以实现精确的跨模态相关性，实验结果表明我们的方法在多个数据集上表现出色。

Apr, 2017

通过学习和转移单模相似度实现对抗性跨模检索

本文提出了一种名为交叉模态相似性转移的方法，以无监督的方式学习和保持不成对但语义上相似的数据项目之间的联系，并在类别和对排序检索任务中表现出了优于现有技术的结果。

Apr, 2019

用于高效跨模式检索的相关哈希网络

本论文提出了一种新的跨模式哈希方法，通过联合学习数据特征和量化误差控制实现高质量哈希编码，并在标准测试中表现良好。

Feb, 2016

跨模态场景网络

本文研究如何学习跨模态场景表示并提出了新的跨模态场景数据集以及正则化方法，实现了共享的、跨模态的表示，实验表明我们的场景表示对于跨模态检索至关重要，同时我们的可视化结果表明，共享表示中的单元倾向于独立于模态激活在一致的概念上。

Oct, 2016

使用图卷积网络对文本建模用于跨模态信息检索

本研究提出了一种基于图的文本建模方法和双向神经网络模型，用于跨模态信息检索，结合卷积神经网络和 Graph Convolutional Network，通过相似度度量，并采用成对相似度损失函数训练模型，在准确率提升了 17％的前提下，成为了最先进的方法。

Feb, 2018

深度跨媒体知识迁移

本文介绍了一种名为 DCKT 的深度跨媒体知识转移方法，通过两级转移架构和渐进式转移机制，将大规模跨媒体数据中的知识转移到小规模跨媒体数据中，从而提高了跨媒体检索的准确性。实验证明 DCKT 取得了良好的检索精度提升。

Mar, 2018

对比交叉模态知识共享预训练用于视觉语言表示学习和检索

本研究提出了一种名为 COOKIE 的对比交叉模态知识共享预训练方法，采用传统的双流结构并结合两个有效的模块实现文本 - 图像联合表征，旨在提高跨模态检索的计算效率和统计指标。

Jul, 2022

跨模态协调：在多元输入模态中的协同

提出两种不同的方法来解决跨模态检索的问题，一种基于 CLIP 对任意数量的输入模式进行扩展，而第二种方法通过回归跨模态相似性来解决协调问题，并在多个数据集上进行实验证明其简单有效，并允许以新的方式解决检索问题。

Jan, 2024

CL2CM: 通过跨语言知识转移提升跨语言跨模态检索

跨语言跨模态检索致力于在不使用任何标注的视觉 - 目标语言数据对的情况下实现视觉和目标语言之间的对齐。本研究提出了一种名为 CL2CM 的通用框架，使用跨语言转移改善了视觉和目标语言之间的对齐，可在跨模态网络中为可靠全面的语义对应（知识）提供优势，并通过在多语言图像 - 文本数据集和视频 - 文本数据集上进行实验验证了其高潜力和有效性。

Dec, 2023