本研究提出了一种基于深度学习的无监督二元建模网络，称为 Deep Binary Reconstruction（DBRC），采用 Adaptive Tanh（ATanh）作为激活函数，从而能够通过交叉模态检索任务学习到最佳的二元哈希码。实验结果表明，DBRC 在图像到文本和文本到图像的检索任务中优于其他先进方法。

Aug, 2017

本文提出一种基于三元组的深度哈希网络（TDH），用于跨模态检索，并在哈希空间中引入图形正则化，以保留哈希码的原始语义相似性，实验结果表明，我们提出的方法优于几种现有的交叉模态数据集上的最新方法。

Apr, 2019

本文提出了一种新的视频检索方法，采用双重深度编码网络进行多级编码，将视频和查询作为两种模态编码为向量，同时结合好的可解释性和性能的高性能的概念空间和潜在空间来进行深空间学习，经实验证明了方法的可行性。

Sep, 2020

本文针对图像检索任务，提出一种从图像到二进制码的压缩映射方法，使用三元组损失函数进行训练，并通过多标签分类问题和深度卷积神经网络实现高维二进制码的学习，从而实现高效的图像检索。

Mar, 2016

本文提出了一种交叉模态检索系统，利用图像和文本编码，实现了同时检索模态的功能，避免了需要为每个模态使用不同网络的缺点。在所使用的知识中，本文是第一篇采用单一网络和融合的图像 - 文本嵌入进行跨模态检索的工作。在 MS-COCO 和 Flickr30K 两个著名的多模态数据集上对该方法进行了评估。

Jul, 2018

基于刺激图像和相关文本信息的多模态视觉信息编码网络模型，将口头语义信息作为新信息嵌入视觉编码模型，通过 Transformer 网络对图像和文本特征信息进行对齐，构建多模态特征空间。实验结果表明该模型的性能优于先前的模型，并且消融实验证明我们提出的模型更好地模拟了大脑的视觉信息处理。

Aug, 2023

本文提出了一种用于跨模态信息检索的混合深度架构，通过在辅助数据集中同时学习跨模态相关性和对齐数据集分布，生成异质多媒体检索的中间哈希代码，实验结果在公共数据集上表现为业内最先进的多媒体检索性能。

Aug, 2016

本研究提出了一种新的两条路径的神经网络，其中视觉路径采用了最新的空间感知池化机制模型，结合从头开始训练的文本路径，实现了一种多模态嵌入。在处理带有标注图像的任务中经过训练后，该模型可提供新的跨模态检索性能和短语的视觉定位，达到了最新的最佳表现。

Apr, 2018

本文提出了一种文字引导图像压缩的多模态机器学习方法，通过使用文本的语义信息来引导图像压缩，以实现更好的压缩性能，包括采用图像 - 文本注意力模块和改进的多模态语义一致性损失函数。实验证明，该方法能够在极低比特率下获得较好的视觉效果，并且即使与最先进的技术相比，其性能也可以相媲美或超越。

Apr, 2023

本文提出了一种基于 Tree-augmented Cross-modal Encoding 的方法，用于结合学习查询的语言结构和视频的时间特征进行视频检索，以实现更好的视频检索性能。

Jul, 2020