ICMLOct, 2023

免费的假设等级：基于目标检测的简单最后一层重新训练框架

PDF
TL;DR使用开放词汇物体检测技术防止深度神经网络中的虚假特征，通过排序图像并使用最高分数的子集进行最后一层训练，验证了该方法在 ImageNet-1k 数据集上的有效性。
deep neural networkslast-layer retrainingspurious featuresobject detectionimagenet-1k dataset
发现论文，激发创造
  • Spuriosity Rankings: 为假相关性的鲁棒性分类数据

    提出了一种框架，用于基于存在的虚假线索以及图像排名，评估 ImageNet 模型的错误关联问题，通过对错误排名和正确排名的图像的准确度差距的测量（称为虚假差距），对 89 个 ImageNet 模型进行评估，发现即使是最好的模型在具有虚假线索存在的图像中也表现不佳，并且这种虚假线索的影响在不同的类别之间差异更大。

    Dec, 2022

  • 最后一层重新训练足以提高对噪音相关性的鲁棒性

    通过研究表明神经网络在分类预测中往往依赖于一些简单的虚假特征，但即便如此，这些网络依然能够学习到一些与所需属性相关的核心特征。本研究通过重新训练网络中的最后一层，证明其能够在处理虚假特征方面表现出较好的性能，并能够显著降低模型复杂度和计算成本。此外，大规模的 ImageNet 训练模型上的最后一层重新训练，也可以显著提高模型对协变量转移的鲁棒性。

    Apr, 2022

  • Salient ImageNet: 如何发现深度学习中的假特征？

    本文提出了一种通用框架来发现一般模型推断中使用的一些杂项和核心的视觉特征，并在大量图像上对这些视觉特征进行定位，从而对各种著名的 Imagenet 模型进行分析和评估。

    Oct, 2021

  • 物体检测数据集中的噪声标签处理

    该研究探讨了利用自信学习算法来改善训练数据集的质量，通过发现原始训练数据集中的错误标签，可以消除其根源上的错误样本并重新标注可疑的边界框来提高数据集的质量，最终提高目标检测算法的性能。

    Nov, 2022

  • 利用大规模无监督学习构建高级特征

    使用卷积神经网络进行非监督学习，提取图像中的高级特征，并取得了针对 20,000 个物体类别的显著优化结果。

    Dec, 2011

  • 简单扼要的少样本物体检测

    本研究通过在罕见物品识别任务中只微调现有检测器的最后一层实现了高精度的 few-shot 目标检测方法，相较于 meta-learning 的方法，在当前基准测试中精度提升了 2~20 点，甚至有时可以将先前方法的精度提高一倍。

    Mar, 2020

  • 通过解释发现和修复虚假模式

    本文提出了一种端到端的流水线，用于识别和减轻图像分类器中的伪模式，通过数据增强的方法减轻了伪模式，在没有伪模式的环境下提高了模型的准确性和鲁棒性。

    Jun, 2021

  • 最顶层重新训练是否足够抵御伪相关性？

    通过对医学领域的真实数据进行研究，我们考察了深度特征重新加权方法（DFR）对于应用的可行性，并研究了最后一层重训练方法背后的有效性原因，结果表明 DFR 可以提高最差群体的准确性，但仍对虚假相关性敏感。

    Aug, 2023

  • 从头开始使用深度监督进行物体检测

    提出 Deeply Supervised Object Detectors（DSOD）框架，实现可以从头开始训练的目标检测器。通过 Layer-wise Dense 连接在主干网和预测层之间实现深度监督，DSOD 能在 PASCAL VOC 和 COCO 数据集上取得比现有方法更好的检测结果，并使用更小的模型参数。

    Sep, 2018

  • FROD: 强健的免费物体检测

    本研究旨在利用对抗训练的分类模型作为目标检测的骨干，在不增加计算开销的情况下提高目标检测的鲁棒性，通过引入仿真损失和延迟对抗训练两个轻量级组件进一步增强鲁棒性。在 MS-COCO 和 Pascal VOC 数据集上进行了大量实验证明了我们提出方法的有效性。

    Aug, 2023