May, 2024

MANO：利用矩阵范数在分布偏移下进行无监督准确度估计

PDF
TL;DR我们提出了一种基于 logits 的方法 MaNo，通过对 logits 进行数据依赖的归一化来减少预测偏差，并将归一化 logits 的矩阵的 Lp 范数作为评估分数，我们在多个架构上进行了广泛的实证研究并证明 MaNo 在合成、自然或亚种群变化下实现了最先进的性能。
logitstest accuracyoverconfidence issuesprediction biasunsupervised accuracy estimation
发现论文，激发创造
  • 利用逻辑归一化缓解神经网络过度自信

    本文提出 Logit Normalization 方法，通过约束神经网络输出的 logits 向量的范数，以减少 out-of-distribution 数据的高置信度问题，并在常见基准测试中取得高度可分辨的置信度分数。

    May, 2022

  • 使用投影范数预测分布外误差

    提出一种名为 “Projection Norm” 的度量标准来预测模型在无标签真实标签的情况下对 ODD 数据的性能，这种方法使用伪标签来训练新的模型并与所谓的 输入数据分布模型进行比较以进行预测。该方法在图像和文本分类任务以及不同网络架构上都优于现有方法，并且在理论上将该方法与超参数化线性模型的测试误差的界限相连。此外，发现 “Projection Norm” 是唯一实现对对抗性样本检测非平凡性能的方法。

    Feb, 2022

  • 对分布变化下的无监督准确率估计进行梯度特征化

    该研究论文研究了在不同测试环境中无法访问真实测试标签的情况下估计测试准确性的方法，通过使用神经网络的输出或提取特征来建立与真实测试准确性相关的估计分数，实验证明梯度提供的信息可以预测分布变化下的真实测试准确性，并提供了理论方面的洞见。

    Jan, 2024

  • 通过后续逻辑归一化和温度缩放改善深度神经网络的选择分类表现

    本文介绍了一种简单高效的后验置信度估计器 - $p$-NormSoftmax，它可以大幅提高预训练模型的选择性分类性能，并在实验中证明了此方法的有效性。

    May, 2023

  • ConjNorm: 可操作的密度估计用于异常检测

    通过使用 Bregman 分歧为基础的密度函数设计方法，我们提出了一种新的理论框架，引入了 ConjNorm 方法，达到了在不同的 OOD 检测设置中比当前最佳方法高出 13.25％和 28.19％（FPR95）的新的最先进水平。

    Feb, 2024

  • 基于离线模型的正态化最大似然估计优化

    本文提出了在数据驱动的优化问题中利用归一化极大似然估计器解决不确定性和变化范围问题的方法，并通过在各个领域（如化学、生物学和材料工程）的高维设计问题中进行的实验验证了该方法的有效性。

    Feb, 2021

  • 基于分类器头部信息的特征遮蔽和基于原型的对数平滑方法用于异常检测

    提出了一种基于特征屏蔽和对数平滑的后处理 OOD 检测方法，通过减小 OOD 数据的特征激活和增加 ID 与 OOD 数据之间的差距，缓解了神经网络对 OOD 数据的过度自信性预测，并在多个标准 OOD 检测基准上证明了该方法的有效性和兼容性，取得了新的最先进性能。

    Oct, 2023

  • 过参数化对于超出分布之外的普适性的益处

    研究了过参数化模型在 Out-of-Distribution 问题下的性能，发现模型容量的增加和模型集成有助于提高 OOD 推广能力。

    Mar, 2024

  • 理解特征规范用于离群检测

    研究发现，神经网络在训练分类数据集时，隐藏层特征的向量范数对于属于分布内的样本通常更高，而对于分布外的未知样本较低。解析神经网络中的中间层所隐藏的判别结构后，发现特征范数是网络层中的分类器隐藏的置信值，特征范数是一种类不可知的，可以检测各种判别模型下分布外样本的方法。然而传统的特征范数无法捕捉到隐藏层神经元的去激活倾向，可能会将分布内样本误识别为分布外实例。为了解决这个问题，提出了一种新的负向感知范数 (NAN)，能够捕捉到隐藏层神经元的激活和去激活倾向。在 NAN 上进行了广泛的实验，证明了它的效果和与现有分布外检测器的兼容性，以及在无标签环境中的能力。

    Oct, 2023

  • 流形正则化过渡矩阵估计下的实例相关标签噪声学习

    研究了标签噪声学习问题中的转移矩阵估计，基于人类任务标注时更加倾向于将外观相似的实例标注为同一类别的心理学和生理学证据，提出了 T（x）几何形状的假设，并利用流形嵌入技术来有效地减少了其自由度并使其在实践中稳定可估计。实验结果表明，该方法在处理具有挑战性 IDN 数据时优于现有方法。

    Jun, 2022