Jun, 2024

上下文融合增强图像模糊鲁棒性

PDF
TL;DR哺乳动物的大脑通过整合特定感官模式的脑区的信息来处理复杂推理，从而提高鲁棒性和泛化能力。我们开发了一个融合模型，结合了在 Imagenet 和 Places365 上训练的 CNN 的背景和前景特征，测试了它对人可感知变化的抵抗能力，并在 MS COCO 上进行了验证。融合模型提高了鲁棒性，特别适用于具有更大上下文变异性的类别。我们提出的多模态整合解决方案为增强鲁棒性提供了一种新方法，并可能与现有方法相辅相成。
发现论文，激发创造
  • 基于遗传算法的特征选择和上下文集成的深度学习模型

    本研究提出了一种新型的三层深度学习模型，通过引入一对多二元类别学习器，学习遗传算法优化的特征，并同时学习全局和局部上下文信息，从而优化整个模型以在图像分割方面取得有希望的结果。

    Apr, 2022

  • FuseFormer: 用于视觉和热图像融合的 Transformer

    通过整合转换器模型的多尺度融合策略，本研究提出了一种新的图像融合方法，以克服使用评价指标作为损失函数所带来的局限性，并改善了整体方法的效果。

    Feb, 2024

  • 多模态数据自适应融合技术

    本研究提出了两种自适应融合网络（Auto-Fusion、GAN-Fusion），通过对不同模态的特征进行有效的上下文建模，在多模态机器翻译和情感识别等任务中取得了比现有方法更好的效果。

    Nov, 2019

  • 通过猴子视觉皮层多任务学习实现稳健的视觉

    运用多任务学习方法使深度神经网络对图片失真有着较好的鲁棒性，研究结果表明，从灵长类的视觉皮层中提取归纳偏见，使神经网络更类似于人类视觉系统，提高了其在面对失真问题时的效率。

    Jul, 2021

  • 关于深度融合模型中单源健壮性的研究

    本文研究学习融合算法，通过设计深度融合模型的损失函数及相应的训练算法以及简单的卷积融合层，提高了 3D 物体检测器在应对单一数据源噪声方面的鲁棒性。

    Jun, 2019

  • 基于门控信息融合网络的鲁棒性深度多模态学习

    本文提出了一种在存在不完善模态的情况下设计稳健的深度多模态学习体系结构的方法 - 通过使用深度融合架构进行目标检测，并使用带有门控信息融合网络调节贡献权重进行构建，以实现具有抗干扰性的性能表现提高，对于 KITTI 数据集的单发探测器（SSD），本文通过数据增强方案和提出的融合网络取得了显著的性能提升。

    Jul, 2018

  • 图像隐私预测的动态深度多模态融合

    提出了一种融合来自卷积神经网络的对象、场景上下文和图像标签模态的方法，以准确预测在线分享图像的隐私。该方法可以识别出最有竞争力的模态，并预测目标图像的隐私标签。实验结果证明，该方法比单一模态和先前的隐私预测模型更准确地预测了敏感（或私密）内容。

    Feb, 2019

  • 基于融合模型的多模态分类器对跨模态内容稀释的鲁棒性

    研究了多模态分类器对于跨模态稀释的抗干扰性，开发了一种在保持与图像和已有文本相关性和主题一致的前提下，能加剧多模态分类器失效的文本生成模型，并在危机人道主义和情感检测任务上进行了实验，结果表明该模型所生成的稀释文本能在更高程度上展示多模态分类器脆弱性，具有更高的相关性和主题一致性，有望进一步鼓励研究深度多模态模型对实际场景变化的抗干扰能力。

    Nov, 2022

  • 基于多模态卷积神经网络的医学图像分割：图像融合方案研究

    本文提出了在监督医学图像分析中进行图像融合方案的概念架构，实现了基于卷积神经网络的三种图像融合方案，并将其结合成单个框架，用于同时分析多模式图像，检测软组织肉瘤的存在，并发现在特征级别融合的情况下，性能最好，但当任何图像模式存在大误差时，其鲁棒性会降低。

    Oct, 2017

  • 目标检测的关注上下文

    通过开发一种名为 AC-CNN 的新型神经网络模型，将全局和局部上下文信息有效地结合到区域卷积神经网络中，提高了目标检测性能，特别是在 PASCAL VOC 2007 和 VOC 2012 数据集上，与目前主流的 Fast-RCNN 算法相比在 mAP 方面分别提高了 2.0％和 2.2％

    Mar, 2016