本研究提出一种基于交叉模态相似性学习算法的跨媒体特征匹配方法,通过双线性约束和核范数惩罚实现低秩表示,并应用加速迭代最小化算法实现快速收敛。实验结果表明,在三个知名的图像 - 文本跨媒体检索数据库中,本方法较之现有算法具有更佳性能。
Nov, 2014
使用卷积神经网络构建了一种新的相似度度量方法,该方法可以应用于多模态医学图像的配准问题。在跨人注册任务上,该方法实现了比互信息更好的性能。
Sep, 2016
本文提出了一种跨模态相关学习方法,通过层级网络的多粒度融合实现多级别关联,在保留内 - 外模态互补上下文的同时,采用多任务学习策略平衡内 - 外模态的约束,成功地将粗细模型进行融合以实现精确的跨模态相关性,实验结果表明我们的方法在多个数据集上表现出色。
Apr, 2017
本文研究了面向深度学习的半监督度量学习,提出了基于随机和图的方法,通过传播标记数据对的相似度来挖掘度量学习的三元组约束,并施加正交性约束以避免模型萎缩。
May, 2021
本文提出了一种深度关系度量学习(DRML)框架,用于图像聚类和检索。该方法采用可自适应学习的特征集合来建模类内和类间分布,并使用关系模块和图建模在图像上进行关系推理,得到一种关系感知嵌入来测量相似性,从而有效提高了当前深度度量学习方法的效果。
Aug, 2021
本文介绍了一种用于深度度量学习的新型基于距离的正则化方法,即多级距离正则化,可以使嵌入向量之间的成对距离受到多个级别的限制,并对训练过程进行了详细描述以及性能分析。
Feb, 2021
本文介绍了一种新的领域适应策略 - “交叉模态学习”,在无监督和半监督领域适应设置下,通过两种模式的相互模仿实现模态之间的一致性,在 3D 语义分割任务中证明了该方法的有效性
Jan, 2021
本文引入了一种基于连续标签的深层度量学习新方法,包括使用连续标签进行三元组损失和适应连续标签的三元组挖掘策略,同时实验结果显示该方法在三种不同的图像检索任务中表现出较优异性能。
Apr, 2019
通过近似现有指标与小型卷积神经网络的特征空间中的点积,我们提出了一个通用框架,用于创建具有表达性的跨模态描述符,从而实现了快速可变形全局注册。我们的方法比基于局部图像块的指标快几个数量级,并且可以直接应用于临床环境中,只需用所提出的指标替换相似度测量。实验表明,我们的方法在训练数据之外也具有很好的泛化性,即使在未知的解剖学和模态组合上也有着广泛的适应能力,无需进行专门的重新训练。我们公开了我们的训练代码和数据。
Jul, 2023
本文提出了一种基于 transformer 和 triplet loss 的 cross-modal retrieval 模型来解决 human motion sequences 和 text 之间的检索问题,并提出了一种新的 MildTriple Loss 来减少 semantic conflicts 的影响,经实验证明,在 HumanML3D 和 KIT Motion-Language 数据集上具有较高的检索召回率。
May, 2023