利用对抗性判别式模态蒸馏技术学习含特殊信息的数据

Oct, 2018

利用对抗性判别式模态蒸馏技术学习含特殊信息的数据

Learning with privileged information via adversarial discriminative modality distillation

Nuno C. Garcia, Pietro Morerio, Vittorio Murino

TL;DR本研究针对深度学习中的异构数据模态问题提出了一种新的方法 —— 基于对抗学习与特权信息框架下的 RGB-D 视觉任务的幻象网络训练方法，旨在从深度和 RGB 视频中提取信息，使得在测试时，只需要使用 RGB 数据即可。这一方法在 NYUD 数据集的目标分类和最大多模态视频行为识别数据集（NTU RGB+D）以及美国西北大学加洛斯高等研究院的数据集上均取得了领先的结果。

Abstract

heterogeneous data modalities can provide complementary cues for several tasks, usually leading to more robust algorithms and better performance. However, while training data can be accurately collected to include a variety of sensory modalities, it is often the case that not all of th

heterogeneous data modalities adversarial learning privileged information rgb-d vision tasks hallucination network

发现论文，激发创造

多流网络的模态蒸馏用于动作识别

本研究提出了一种新的多模态视频动作识别方法，利用 RGB 数据以外的深度数据进行训练，在测试时利用 RGB 数据进行分类，通过精简网络来进行深度特征的提取，经过实验得到了目前最佳的分类结果。

Jun, 2018

一阶段模态蒸馏用于不完整多模态学习

基于多模态数据的学习近年来引起了越来越多的关注。尽管可以采集各种感官模态进行训练，但并不总是能在开发场景中获得所有的模态，这给基于不完整模态的推断带来了挑战。为了解决这个问题，本文提出了一个一阶段模态蒸馏框架，通过多任务学习将特权知识传递和模态信息融合统一为一个优化过程。与独立执行它们的传统模态蒸馏相比，这有助于直接捕捉有助于最终模型推断的有价值表征。本文具体介绍了模态转换任务的联合适应网络，以保留特权信息。通过联合分布适应解决由输入差异引起的表示异质性。然后，我们介绍了模态融合任务的交叉翻译网络，以聚合恢复和可用的模态特征。它利用参数共享策略明确捕捉跨模态线索。在 RGB-D 分类和分割任务上的大量实验证明，提出的多模态继承框架可以克服各种场景中不完整模态输入的问题，并实现最先进的性能。

Sep, 2023

HalluciDet：通过特权信息对人员检测进行 RGB 模态的幻觉

通过提出 HalluciDet，一种 IR-RGB 图像翻译模型，将重点放在对象检测的准确性上，而不是重构 IR 模态下的原始图像，从而绕过了访问 RGB 数据的需求，从而提高了检测性能。

Oct, 2023

使用特权模态进行行为检测的图形蒸馏

本研究提出一种称为图蒸馏的方法，该方法在多模态视频中处理行动检测，其中仅有有限的训练数据和部分观察到的模态可用，并通过在源域中的大规模多模态数据集中使用丰富的特权信息来提高目标域的学习效果，从而克服了训练和测试之间的模态差异，并在 NTU RGB + D 和 PKU-MMD 基准测试中明显优于现有技术。

Nov, 2017

基于 CNN 的 RGB-D 显著目标检测：学习、选择和融合

该论文旨在提出一个系统性的解决方案来解决 RGB-D 突出物检测问题，该方案通过模态特定表示学习、互补线索选择和跨模态补充融合等三个方面进行统一的处理，并构建了一种自适应的残差函数来融合跨模态信息以实现足够的跨模态交互和跨层传输支持。

Sep, 2019

跨模态对比学习蒸馏理论研究

跨模态蒸馏是一个重要主题，用于包含有限知识的数据模态，如深度图和高质量素描。我们提出了一个基于对比学习的跨模态对比蒸馏（CMCD）的通用框架，该框架利用正负对应关系更好地蒸馏可泛化的特征，并在实验结果和收敛分析中验证了源模态和目标模态之间的距离对目标模态下游任务的测试误差有着显著影响。

May, 2024

跨域多模态 RGB-D 场景识别

本文提出了一种自适应景观识别方法，该方法使用 RGB 和深度图像之间的自监督转换，以解决多模态数据集之间的领域转移问题，并证明其在不同相机采集的数据之间具有很强的泛化能力。

Mar, 2021

弱监督的 RGB-D 显著目标检测中的互信息正则化

这篇论文介绍了一种通过涂鸦监督实现弱监督 RGB-D 显著性目标检测模型的方法，通过互模态相互信息正则化来改进多模态表示学习，采用了不对称特征提取器和多模态变分自编码器作为随机预测细化技术。作者的方法比传统方法更有效，并且在现有的数据集上取得了与全监督模型相当的性能。

Jun, 2023

适用于少样本细粒度识别的跨模态幻象技术

提出一种基于深度学习的多模态方法，通过有意义的联合嵌入来弥合模型训练中数据不足的信息差距，并通过跨模态数据幻觉框架提出了一个区分性文本条件生成对抗网络，改进了基于 CUB 数据集的一、二、五次学习的模型准确性。

Jun, 2018

跨模态知识蒸馏增强的多模态表征学习

本文介绍了一种基于多模态表示学习的学生 - 教师框架，并采用了对比学习和对抗学习等方法来优化相互信息和条件熵，以提高视频识别、检索和情感分类等多模态任务的性能。

Jun, 2023