WeiPer:使用类别投影的权重扰动进行 OOD 检测
本研究提出了一种新的特征空间离群点检测算法,使用去白线性判别分析将特征投影到判别子空间和残差子空间中,并结合两个子空间中输入数据与内部分布偏差的大小确定离群点得分,证明了该算法在大规模数据集上的优越性及其对深度分类器的有效性,并在具有对比目标训练的表示空间中更有效地检测新概念。
Mar, 2023
这篇论文集中在最后的卷积层输出的高维特征上,通过将这些高维特征投影到两个具体的特征子空间,借助网络的线性层的降维能力来识别产生在训练分布之外的数据,从而实现可靠的模式分类检测。我们的方法不需要输入预处理或特定的数据预调优,通过修改全连接层之前的批归一化和 ReLU 层,减小它们对输出特征分布的影响,扩大了 ID 和 OOD 数据特征之间的分布差距,并在多个基准数据集上进行了广泛实验,展示出最先进的性能。
May, 2024
提出了一种名为 ODPC 的新方法,通过大型语言模型设计生成特定提示词来产生具有 ID 语义的 OOD 对等类,以便于检测,并采用基于 OOD 对等类的对比损失来学习紧凑的 ID 类别表示,并改善不同类别之间的界限清晰度。在五个基准数据集上进行的广泛实验表明,该方法可以得到最先进的结果。
Mar, 2024
机器学习中,识别推理数据是否超出模型的预期输入分布对于给出预测的上下文至关重要。我们的研究针对基于表示或基于逻辑方法的超出分布检测方法,并提出了用于特征嵌入降维的表示方法和解决了一个问题的基于逻辑方法。我们在 OpenOODv1.5 基准框架上验证了我们方法的有效性,结果显示性能显著提升,并达到了最新的技术水平。
Jan, 2024
该论文提出了一种名为 OODformer 的新型 OOD 检测架构,利用 transformer 的上下文能力来区分内部分布和 OOD 样本,通过视觉注意力利用上下文嵌入提高了分类的通用性,在 CIFAR-10 /-100 和 ImageNet30 上取得了新的最先进成果。
Jul, 2021
本文提出 POORE - POsthoc pseudo-Ood REgularization 框架,通过在内部数据中生成伪 OOD 数据进行 fine-tune,通过引入新的正则化损失来分离 IND 和 OOD 数据的嵌入,提高了 OOD 预测任务的准确度,相较现有方法在三个实际对话系统上获得了最新的技术进展。
Oct, 2022
本文介绍了一种针对 out-of-distribution(OOD)检测的创新类相关性学习方法,该方法在 OOD 管道中策略性地利用了类间关系,显著增强了 OOD 检测能力。在包括通用图像分类数据集(近 OOD 和远 OOD 数据集)的多样数据集上进行的大量实验表明,我们的方法在 OOD 检测方面优于现有技术。
Sep, 2023
本文利用 Wasserstein 距离定义了 out-of-distribution(OOD)一般化,理论上证明对输入扰动具有鲁棒性的模型可以在 OOD 数据上一般化;在图像分类和自然语言理解任务上进行了实证验证,并进一步理论证明了在预训练和微调范式中,更具扰动输入鲁棒性的预训练模型可以更好地初始化在下游 OOD 数据的泛化,实验证明在经过微调后,这种通过对抗训练预训练的更好初始化的模型也有更好的 OOD 一般化。
May, 2021
本研究提出了一种新的的基于输出层的单类分类器方法用于检测深层分类器中的异常值输入,该方法无需访问 OOD 样本且在低维和高维数据集上表现出优异的性能指标。
Oct, 2019
该论文提出了一种基于对比学习的框架,旨在有效地进行 out-of-distribution 检测,利用预训练的语言模型吸收丰富的信息,并在意图分类和异常检测等数据集中取得了显著的效果。
Oct, 2022