Jun, 2024

稠密连接是否有益于离群点检测？用 NAS 进行探索

PDF
TL;DR我们提出了一种新颖的方法 Dense Connectivity Search of Outlier Detector (DCSOD)，它通过使用神经架构搜索 (NAS) 和多视角特征学习进行演化蒸馏，自动探索了 CNN 架构的稠密连接，以实现接近 OOD 检测任务的目标。在 CIFAR 基准测试上，DCSOD 在 OOD 检测协议下取得了显著的性能提升，达到了最先进的水平。
out-of-distribution detectionconvolutional neural networksdense connectivityneural architecture searchood detection evaluation
发现论文，激发创造
  • NAS-OoD: 面向外分布泛化的神经架构搜索

    本文提出了针对 Out-of-Distribution 通用性的 NAS（NN 架构搜索）算法，通过数据生成器进行程度上相对稳健的搜索，并通过对不同神经架构计算出的损失最大化合成 Out-of-Distribution 数据来使神经架构与数据生成器在端到端方式下共同优化，实现了对于不同分布的稳健性和精度优化。在各种 Out-of-Distribution 通用性基准测试和行业实际数据集上均取得了良好的性能。

    Sep, 2021

  • DCNAS：用于语义图像分割的密集连接神经架构搜索

    本研究提出一种名为 Densely Connected NAS (DCNAS) 的神经架构搜索框架，通过连接细胞并使用可学习的权重来引入密集连接的搜索空间，并通过路径和通道级别的抽样策略设计一个融合模块来降低搜索空间的内存消耗。DCNAS 搜索算法得到的体系结构在公共语义图像分割基准测试中的表现显著优于先前算法。

    Mar, 2020

  • 通过神经崩溃的视角检测超出分布范围

    基于 Neural Collapse 观察的特征向量相似度，我们提出了一种高度灵活的 Neural Collapse inspired OOD 检测器（NC-OOD），通过利用 ID 特征聚类性和 OOD 特征与原点的距离性，显著提高了现有工作的泛化能力，同时在不同分类任务、训练损失和模型架构的广泛实验中，始终实现了最新的 OOD 检测性能。

    Nov, 2023

  • 丰富和深入监督网络用于显著性目标检测

    本文提出了一种新的显著性目标检测系统 RDS，它使用更有效的方法传递全局信息，解决传统模型中忽略背景信息的问题，并在使用目标检测数据训练模型时取得了最新的结果。

    Jan, 2019

  • CSCO：卷积算子的连接性搜索

    通过最小化利用现有设计模式来创建卷积算子的有效连接，并利用发现的连接构建高性能的 ConvNets，本文提出了 CSCO，一个新颖的范例，通过神经预测器作为地面真实性能的代理引导搜索，引入图同构的数据增强来提高样本效率，并提出了 Metropolis-Hastings 进化搜索 (MH-ES) 来避免局部最优结构并提高搜索质量。在 ImageNet 上的结果显示，与手工和 NAS 制作的密集连接相比，性能提高了约 0.6%。

    Apr, 2024

  • DSOD：从头开始学习深度监督目标检测器

    本研究提出了一种名为 DSOD 的新型深度监督目标检测器，通过设计一组原则以及采用密集的层内连接等手段使目标检测器可以从零开始训练，并在 PASCAL VOC 2007，2012 和 MS COCO 等数据集上完美取代了现有的模型。

    Aug, 2017

  • 神经元激活覆盖度：重新审视区分与泛化

    本文提出了一种神经元激活覆盖度（NAC）概念，并通过研究神经元行为以区分 InD 和 OOD 数据，打破了 ResNet-50 FPR95 记录并提出了 NAC 标准以评估模型健壮性。

    Jun, 2023

  • 基于最后卷积层输出的高维特征子空间投影的异常检测

    这篇论文集中在最后的卷积层输出的高维特征上，通过将这些高维特征投影到两个具体的特征子空间，借助网络的线性层的降维能力来识别产生在训练分布之外的数据，从而实现可靠的模式分类检测。我们的方法不需要输入预处理或特定的数据预调优，通过修改全连接层之前的批归一化和 ReLU 层，减小它们对输出特征分布的影响，扩大了 ID 和 OOD 数据特征之间的分布差距，并在多个基准数据集上进行了广泛实验，展示出最先进的性能。

    May, 2024

  • AutoOD: 通过好奇心引导搜索和自我模仿学习实现自动异常检测

    本文提出一种自动离群点检测框架 AutoOD，采用基于好奇心的搜索策略和自我模仿学习的经验重播机制，在预定义的搜索空间内寻找最优神经网络模型，实验结果表明，与现有手工模型和传统搜索方法相比，AutoOD 找到的深度学习模型表现最佳。

    Jun, 2020

  • 从头开始使用深度监督进行物体检测

    提出 Deeply Supervised Object Detectors（DSOD）框架，实现可以从头开始训练的目标检测器。通过 Layer-wise Dense 连接在主干网和预测层之间实现深度监督，DSOD 能在 PASCAL VOC 和 COCO 数据集上取得比现有方法更好的检测结果，并使用更小的模型参数。

    Sep, 2018