Jan, 2024

深度神经网络背景偏差减轻的更快 ISNet

PDF
TL;DR利用 ISNet 架构及 Layer-wise Relevance Propagation (LRP) 热图优化，我们提出重新构建的架构，通过最小化背景相关性，防止深度分类器决策中的背景特征影响，从而减少捷径学习并提高泛化能力。在 MNIST 数据集和 COVID-19 胸部 X 射线检测中，我们的模型在最小化背景影响和阻止捷径学习的同时，保持了高准确性，相较于其他深度神经网络架构更具准确性，这表明这些架构在训练速度上是对 ISNet 的巨大改进。
background biasdeep classifiersshortcut learninggeneralizationlrp optimization
发现论文，激发创造
  • 评估深度神经网络学习的可视化

    本文提出了一种可视化深度神经网络分类决策的方法，使用基于区域扰动的方法评估热图，并比较了三种不同方法计算的热图对网络分类决策的解释力，结果发现基于层级相关传播方法对解释分类决策的效果更好。同时，本文还探讨了利用热图进行神经网络性能无监督评估的方法。

    Sep, 2015

  • 针对地球系统变异应用的 Echo State Networks 分层相关性传播

    本文介绍如何使用层次相关传播技术和回声状态网络模型来提高模型可解释性，并使用海温异常来预测厄尔尼诺南方涛动现象，可以应用于时序预测和图像分类。

    Oct, 2022

  • 通过数据高效训练和减小 CNN 偏差在红外图像上进行背景不变分类

    本研究提出了一种新的两步训练过程，称为 split training，旨在减少卷积神经网络中对背景纹理的学习，通过使用均方误差损失和交叉熵损失，对简单 CNN 架构和 VGG 及 Densenet 等多路硬件使用的深度 CNN 架构进行训练，其准确率更高，并且能够学习模仿更注重形状和结构而非背景的人类视觉。

    Jan, 2022

  • 可解释的深度神经网络用于单次试验的脑电波分类

    本研究探讨利用 DNNs 和 LRP 应用于 EEG 数据分析，发现 DNNs 在分类准确性上具有可比性，并且通过 LRP 的热图，可以提供神经活动高分辨率的评估，这是 DNN 在神经科学应用中被限制使用的可解释性不足的潜在解决方案。

    Apr, 2016

  • 高效却稳健的私有推理的线性化模型

    RLNet 是一种鲁棒线性化网络，通过减少高延迟 ReLU 操作，在干净和受损图像上提高模型性能，从而在私有推理中提供改进的分类准确性，同时减少计算复杂度。

    Feb, 2024

  • 可扩展图像识别的可传递架构学习

    本文提出了一种在小数据集上搜索神经网络模型结构并将其转移至大数据集的方法，称为 NASNet，通过设计新的搜索空间并使用调度 DropPath 技术提高了模型在 ImageNet 等数据集上的分类正确率。

    Jul, 2017

  • 通过分解深度控制解释性热力图的分辨率和语义

    本文将 Layer-wise Relevance Propagation 算法应用于深度卷积神经网络和 Fisher Vector 分类器，通过可视化热图比较两种分类器的图像感知和预测策略。作者演示了在 LRP 过程中不同分解截止点选择对测试图像热图分辨率和语义的影响。

    Mar, 2016

  • 学习线性化深度神经网络以实现安全高效的私有推理

    该研究提出了一种敏捷的训练方法 SENet，可在保持模型分类精度的同时大幅度减少 ReLU 神经元来降低由 ReLU 操作引起的延迟，从而提高隐私推断（PI）的效率与准确性。

    Jan, 2023

  • 基于显著性 ImageNet 的核心风险最小化

    本文中，我们介绍了 Salient Imagenet-1M 数据集，并评估了几个预训练模型对于虚假特征的依赖性；而后，我们提出了一种新的学习范式叫做核风险最小化，其目的是确保模型使用核心特征对类进行预测。我们评估了不同的计算方法，发现训练 Core Risk Minimization 模型的核心准确率比经验风险最小化模型的准确率高约 12％，并且干扰后没有降低干净准确率。

    Mar, 2022

  • 轻量级信息分离网络实现红外图像超分辨率

    提出了一种高效、精确的单像素红外图像超分辨率模型，名为轻量级信息分离网络（LISN），通过使用浅层特征提取、深层特征提取、密集特征融合和高分辨率红外图像重建等组件，以及轻量级信息分离块（LISB）的创新引入，成功地在提高超分辨率性能和轻量级框架之间取得了最佳平衡，优于现有方法，并证实了在资源受限的红外成像应用中的实际部署的有效性。

    May, 2024