Jun, 2023

弱监督的 RGB-D 显著目标检测中的互信息正则化

PDF
TL;DR这篇论文介绍了一种通过涂鸦监督实现弱监督 RGB-D 显著性目标检测模型的方法，通过互模态相互信息正则化来改进多模态表示学习，采用了不对称特征提取器和多模态变分自编码器作为随机预测细化技术。作者的方法比传统方法更有效，并且在现有的数据集上取得了与全监督模型相当的性能。
weakly-supervisedrgb-dsalient object detectionmultimodal representation learningasymmetric feature extractor
发现论文，激发创造
  • 基于级联互信息最小化的 RGB-D 显著性检测

    本文提出了一个多阶段级联学习框架来利用相互信息最小化 “显式” 建模 RGB 图像和深度数据之间的多模态信息，对 RGB-D 显著性检测进行了广泛的实验，贡献了一个比 NJU2K 大 7 倍的标注精细的数据集，构建了四个有强基准线的新基准，观察到了一些有趣的现象，可以激发未来的模型设计。

    Sep, 2021

  • 基于 CNN 的 RGB-D 显著目标检测：学习、选择和融合

    该论文旨在提出一个系统性的解决方案来解决 RGB-D 突出物检测问题，该方案通过模态特定表示学习、互补线索选择和跨模态补充融合等三个方面进行统一的处理，并构建了一种自适应的残差函数来融合跨模态信息以实现足够的跨模态交互和跨层传输支持。

    Sep, 2019

  • 学习选择性互注意力和对比度用于 RGB-D 显著性检测

    本文旨在解决如何有效地融合 RGB-D 信息来进行显著目标检测的关键问题。通过提出一个新的互惠关注模型来融合来自不同模态的注意力和上下文信息，实现高阶和三线性交叉信息互补，从而提高 RGB-D SOD 的模型性能。同时，通过添加选择性关注来重新加权深度相关信息，提高模型的鲁棒性。在两个数据集上的实验验证了该模型的有效性。

    Oct, 2020

  • 弱监督视频显著目标检测

    本文提出了基于新型弱标注的视频显著目标检测模型，并使用外观运动融合模块和双向 ConvLSTM 框架来实现有效的多模态学习和长期时序建模，还设计了一种前景背景相似度损失和一种弱标注增强策略，以提高模型性能和伪标签生成技术。在六个基准视频显著性检测数据集上的实验结果证明了我们方案的有效性。

    Apr, 2021

  • 基于判别式跨模态迁移学习的 RGB-D 显著目标检测

    本文研究使用卷积神经网络，通过跨模态传输问题对深度引导显著性检测进行提高。在这个方法中，我们有效地利用源模态的辅助数据来训练红绿蓝（RGB）显著性检测网络，并利用深度特定信息来预训练模态分类网络。这两个模块都是独立训练的，然后被拼接起来来初始化并优化最终的深度引导显著性检测模型。实验证明，这种预训练策略及所提出的方法都可以显著且一致地提高性能。

    Mar, 2017

  • 利用对抗性判别式模态蒸馏技术学习含特殊信息的数据

    本研究针对深度学习中的异构数据模态问题提出了一种新的方法 —— 基于对抗学习与特权信息框架下的 RGB-D 视觉任务的幻象网络训练方法，旨在从深度和 RGB 视频中提取信息，使得在测试时，只需要使用 RGB 数据即可。这一方法在 NYUD 数据集的目标分类和最大多模态视频行为识别数据集（NTU RGB+D）以及美国西北大学加洛斯高等研究院的数据集上均取得了领先的结果。

    Oct, 2018

  • 自监督预训练用于 RGB-D 显着性目标检测

    本文通过使用自监督表示学习方法，在只有少量无标签 RGB-D 数据集的情况下，利用两个预处理任务（跨模态自编码器和深度轮廓估计）对 CNNs-Based RGB-D 显着物体检测网络进行预训练，建立一个富有语义上下文的网络初始化，同时提出了一种一致性 - 差异性聚合模块（CDA）来解决 RGB-D SOD 中的跨模态融合问题。实验结果表明，本文的自监督预训练模型表现优于那些在 ImageNet 上进行预训练的最先进方法。

    Jan, 2021

  • 基于不确定性启发的 RGB-D 显著性检测

    本文提出了一种基于不确定性的随机框架，通过学习数据标记过程实现 RGB-D 显著性检测，通过引入一个潜在变量来建模标记变化，包括一个生成器模型和一个推理模型，并采用条件变分自动编码器和交替反向传播技术来推断潜在变量。在六个挑战性的 RGB-D 基准数据集上，实验表明我们的方法在学习显著性图分布方面具有优异性能。

    Sep, 2020

  • RGB-D 显著目标检测的自适应融合

    本文提出了一种自适应融合方案，通过两个卷积神经网络中提取的特征和预测的显著性地图，学习一个切换显著性地图的开关来自适应地融合 RGB 和深度模态中所生成的显著性预测。为了实现全监督，利用显著性监督、开关映射监督和边缘保留约束来设计了一个损失函数，并通过端到端训练方式训练整个网络。经过自适应融合策略和边缘保留约束的好处，我们的方法在三个公开数据集上优于已有方法。

    Jan, 2019

  • 多模态混合学习与顺序训练在 RGB-T 显著性检测中的应用

    我们提出了一种多模态混合损失方法（MMHL），并引入了混合融合模块，在 RGB 和热感特征融合时考虑了空间和通道信息。同时，我们实施了顺序训练策略，通过在第一阶段仅对 RGB 图像进行训练，然后学习跨模态特征，从而提高了显著性检测性能，而无需额外计算开销。性能评估和消融研究结果表明，与现有的最先进方法相比，该方法取得了卓越的性能。

    Sep, 2023