ICMLJun, 2022

使用后验采样进行异常检测

PDF
TL;DR提出一种新颖的基于后验采样的异常值挖掘框架（POEM），促进了异常数据的有效使用，并提高了识别内部和外部数据之间紧凑决策边界的性能，相对于现有最佳方法，在 CIFAR-10 和 CIFAR-100 上的 FPR95 相对性能分别提高了 42.0％和 24.2％，并在理论上证明了 POEM 用于 OOD 检测的有效性。
out-of-distribution detectionmachine learning modelsoutlier exposureposterior sampling-based outlier miningstate-of-the-art performance
发现论文，激发创造
  • 鲁棒语言模型的伪 OOD 训练

    本文提出 POORE - POsthoc pseudo-Ood REgularization 框架，通过在内部数据中生成伪 OOD 数据进行 fine-tune，通过引入新的正则化损失来分离 IND 和 OOD 数据的嵌入，提高了 OOD 预测任务的准确度，相较现有方法在三个实际对话系统上获得了最新的技术进展。

    Oct, 2022

  • 使用预训练转换器的伪异常值暴露进行对外分布检测

    我们提出了一种名为 Pseudo Outlier Exposure（POE）的简单但有效的方法，通过顺序遮盖与 ID 类相关的令牌来构建一个替代性的 OOD 数据集，该替代性 OOD 样本与 ID 数据具有相似的表示，可以在训练拒绝网络方面发挥最有效的作用，与最先进的算法进行全面比较，在几个文本分类基准测试中证明了 POE 的竞争力。

    Jul, 2023

  • 梯度正则化的离群样本检测

    利用损失函数的梯度信息进行训练，实现神经网络在离分布数据上的检测，并通过能量采样方法提高模型性能。

    Apr, 2024

  • 利用自我监督采样进行端到端的越界检测

    本论文提出了一种新的概率框架模型和一种无需 OOD 数据的自监督抽样模型 (SSOD)，以解决现有研究中的问题，并展示了这些模型在大规模基准测试上具有领先的性能.

    Jul, 2023

  • 在自然环境中训练 OOD 检测器

    本文提出了一种基于野外混合数据的新颖框架，旨在改进在野外部署的机器学习模型的 OOD 检测能力，通过最大化 OOD 检测率并设定 ID 数据的分类误差和 ID 示例的 OOD 错误率的约束条件的学习目标，有效地解决了这个问题，并在常见的 OOD 检测任务中获得了优异的性能。

    Feb, 2022

  • 提高样本外检测的三个因素

    通过引入自我知识蒸馏损失、采样半难例离群数据和使用监督对比学习，我们的方法在分类准确性和离群检测性能之间取得平衡，同时提高了两个性能指标。

    Aug, 2023

  • 深度最近邻实现的超范围检测

    本文研究使用非参数最近邻距离方法进行开放世界中一类重要任务：Out-of-distribution 检测，不同于先前的研究，该方法不施加任何分布假设，因此具有更强的灵活性和普适性，在多个基准测试中证明了其有效性，并且相对强基线的 Mahalanobis 距离方法，显著降低了 24.77% 误报率 (FPR@TPR95)。

    Apr, 2022

  • 针对超出分布检测的可证明保障

    本文研究了如何检测机器学习模型移植到实际应用中可能出现的数据分布偏移，提出了一个以神经网络为基础的 OOD 检测方法，并结合理论与实验表现对其进行了分析与评估。

    Dec, 2021

  • 非参数异常合成

    本文提出了一种基于非参数方法的异常检测框架，可在不依赖于高斯分布假设的情况下生成人工训练数据，从而有效地学习鲁棒的模型决策边界，并在超出分布的数据检测上表现出优越的性能。

    Mar, 2023

  • 贝叶斯不确定性估计在离域物体检测中的应用

    基于预训练网络的提出高斯分布，通过权重参数抽样区分正常数据和超出分布的数据，证明我们的贝叶斯目标检测器在 BDD100k 和 VOC 数据集上的训练，并在 COCO2017 数据集上的评估中通过降低 FPR95 分数最多 8.19％和增加 AUROC 分数最多 13.94％来实现了令人满意的超出分布的辨别性能。

    Oct, 2023