Nov, 2024

双重下降与离群检测：模型复杂性角色的理论洞察与实证分析

HTML
PDF
TL;DR本研究解决了过参数化对离群检测影响理解不足的问题，提出了一种期望的离群风险度量来评估分类器在训练和离群样本上的置信度。研究表明，当参数数量等于样本数量时，离群风险会出现无限峰值，呈现双重下降现象，同时实验结果显示过参数化未必会提升离群检测效果。
发现论文，激发创造
  • 利用子空间技术和特征的概率建模进行样本外检测

    本文提出了一种基于降维增强深度神经网络（DNN）的离群检测方法：通过对高维特征进行线性与非线性降维，得到更真实的特征嵌入子空间，利用其计算分布学习和特征重构误差有效地检测不在分布内的样本，实验结果表明其效果优于一些已有方法。

    Dec, 2020

  • 基于OOD训练数据的许多方法估计相同核心量的组合来分解OD检测

    本文旨在识别常见的目标，以及识别不同OOD检测方法的隐含评分函数。我们展示了许多方法在共享学习方式下表现相似，二进制区分器达到与异常暴露相似的OOD检测性能，还展示了置信度损失具有在理论上最优得分函数不同但与训练和测试out-distribution相同时的函数相似的隐含评分函数，从实践中发现，这些方法训练方式一致时都表现相似。

    Jun, 2022

  • NECO：基于神经崩溃的异常检测

    我们介绍了NECO，一种基于神经元崩溃和主成分空间几何特性的后处理方法，用于检测异常数据。我们的实验结果显示NECO在小规模和大规模异常数据检测任务上都达到了最先进的效果，且在不同网络结构上具有强大的泛化能力。

    Oct, 2023

  • 低维度梯度有助于外部分布检测

    通过对梯度信息进行线性降维，结合现有的检测评分函数，我们的方法在各种检测任务中展示了卓越的性能，例如在 ImageNet 基准测试中，我们的方法相较于当前最先进方法，在95%召回率时，假阳性率平均减少了11.15%。

    Oct, 2023

  • 统计学习中关于参数计数的重新思考：双下降的转向

    传统统计学智慧揭示了模型复杂度和预测误差之间的关系，但最近的研究提出了双峰现象的理论，即在参数个数超过样本大小时，测试误差会出现第二次下降。本研究挑战了此理论，并通过对经典统计机器学习方法的细致研究，提出了双峰现象的解释，认为其位置与插值阈值无直接关联，并且通过采用非参数统计学的视角，证明其曲线实际上符合传统的凸形状，解决了双峰现象和统计直觉之间的矛盾。

    Oct, 2023

  • 通过神经崩溃的视角检测超出分布范围

    基于Neural Collapse观察的特征向量相似度，我们提出了一种高度灵活的Neural Collapse inspired OOD检测器（NC-OOD），通过利用ID特征聚类性和OOD特征与原点的距离性，显著提高了现有工作的泛化能力，同时在不同分类任务、训练损失和模型架构的广泛实验中，始终实现了最新的OOD检测性能。

    Nov, 2023

  • 优化参数和神经元修剪用于外样本检测

    我们提出了一种名为OPNP的优化参数和神经元修剪方法，用于无需训练的离群样本检测，通过评估模型的参数和神经元敏感度，并移除导致过拟合的参数和神经元，从而实现了对未知样本的检测，并在多个离群样本检测任务和模型结构上取得了显著的性能优势。

    Feb, 2024

  • 过参数化对于超出分布之外的普适性的益处

    研究了过参数化模型在Out-of-Distribution问题下的性能，发现模型容量的增加和模型集成有助于提高OOD推广能力。

    Mar, 2024

  • 梯度正则化的离群样本检测

    利用损失函数的梯度信息进行训练，实现神经网络在离分布数据上的检测，并通过能量采样方法提高模型性能。

    Apr, 2024

  • 通过捕捉极端激活来减轻对于外部分布检测中的过度自信

    通过测量神经网络次最后一层的极端激活值并利用这一特征改进各种OOD检测基线，我们解决了模型“过度自信”现象造成的OOD检测问题，在各类实验中得到了显著提升，不损害任何场景的性能。

    May, 2024