Jul, 2022

利用 softmax 信息对于外部数据进行选择性分类的扩充

PDF
TL;DR本研究针对在深度学习中的视觉识别任务中所出现的 out-of-distribution (OOD) 数据进行了检测，提出了一种基于 softmax 信息保留组合（SIRC）的分类方法，在不影响对 in-distribution 数据（ID）的正确预测的同时，可以提高识别 OOD 数据的准确率，实验表明 SIRC 可以在保证 SCOD 任务上表现较好，而已有的 OOD 检测方法则不如其表现。
out-of-distributiondeep learningselective classificationconfidence scoresconvolutional neural network
发现论文，激发创造
  • SCOD: 从启发式到理论

    在存在外部样本时面临选择性分类问题的可靠预测模型的设计，我们提出了三个关键贡献。首先，我们证明最优的 SCOD 策略采用了贝叶斯分类器用于分布内数据和一个在二维空间表示为随机线性分类器的选择器，利用了分布内分类器的条件风险和分布内外数据的似然比作为输入，与当前的分布外检测方法和专门针对 SCOD 开发的 Softmax 信息保留组合（SIRC）方法的次优策略不同。其次，我们证明在一个无分布设置下，只依赖分布内数据样本时 SCOD 问题无法以近似正确学习。第三，我们引入了 POSCOD，一种简单的方法，从分布内数据样本和无标签的分布内外数据混合中学习最优 SCOD 策略的插件估计。我们的实证结果验证了理论发现，并证明我们提出的方法 POSCOD 在有效解决 SCOD 问题上优于现有的分布外方法。

    Mar, 2024

  • OOD 感知的有监督对比学习

    使用 SupCon 训练从训练分布中识别外分布样本是机器学习模型安全部署中的重要问题。我们在这项工作中运用强大的 SupCon 学习表征，并提出了一种全面的方法来学习对 OOD 数据稳健的分类器。我们通过增加两个对比项来扩展 SupCon 损失，第一个项将辅助 OOD 表征与 ID 表征分开，而不对辅助数据的相似性产生任何约束。第二个项将 OOD 特征远离现有类原型，并将 ID 表征推近其对应的类原型。当辅助 OOD 数据不可用时，我们提出了特征混合技术来高效生成伪 OOD 特征。我们的解决方案简单高效，作为闭集监督对比表征学习的自然扩展。我们在常见基准测试中与不同的 OOD 检测方法进行了比较，并展示了最先进的结果。

    Oct, 2023

  • 利用自监督排除分类器集合进行的外分布检测

    本论文提出一种基于深度学习和分类器集成的方法，通过独特的基于边界的损失函数来可靠地检测出分布外数据，同时在超过一些 OOD 检测基准上明显优于现有算法。

    Sep, 2018

  • 利用自我监督采样进行端到端的越界检测

    本论文提出了一种新的概率框架模型和一种无需 OOD 数据的自监督抽样模型 (SSOD)，以解决现有研究中的问题，并展示了这些模型在大规模基准测试上具有领先的性能.

    Jul, 2023

  • 提高样本外检测的三个因素

    通过引入自我知识蒸馏损失、采样半难例离群数据和使用监督对比学习，我们的方法在分类准确性和离群检测性能之间取得平衡，同时提高了两个性能指标。

    Aug, 2023

  • 语义一致的异常检测

    通过对抗高水平的对抗攻击在半先验条件下训练生成对抗网络来提高生成数据的多样性和质量。

    Aug, 2021

  • 自信度分类器用于异常检测的分析

    本文针对图像分类中的 ODD 问题，分析研究了最近提出的使用置信分类器来检测 ODD 样本的方法，并结论表明该方法仍会对偏离训练数据分布的 OOD 样本产生高置信度，建议新增 “拒绝” 类别来训练分类器。

    Apr, 2019

  • 语义分割的判别式非分布检测

    本文提出了一种针对视觉分类中的开放世界场景中的数据分割问题的新方法，该方法能够训练出一个专门针对原始训练集以及更大的 “背景” 数据集的 ODD（出现在分布之外的异常值）检测模型，并在测试复杂自然图像的数据集中得到了优异的表现。

    Aug, 2018

  • ImageNet-OOD: 解析现代异常检测算法

    通过广泛的实验，我们展示了当前的 ODD 检测器对于协变量转移比语义转移更为敏感，并且最新的 ODD 检测算法对于语义转移的检测效果微乎其微。我们的数据集和分析为指导未来的 ODD 检测器设计提供了重要见解。

    Oct, 2023

  • 梯度正则化的离群样本检测

    利用损失函数的梯度信息进行训练，实现神经网络在离分布数据上的检测，并通过能量采样方法提高模型性能。

    Apr, 2024