Oct, 2023

利用层间变换平滑性进行识别非分布检测

PDF
TL;DR通过网络中间层之间的转换平滑度，我们提出了一种新的深度神经网络中 OOD 数据检测方法（BLOOD），适用于没有训练数据的预训练模型，并通过在 Transformer 网络上的多个文本分类任务中的评估证明其优越性。
ood detectionmachine learning modelsdeep neural networksbloodtext classification
发现论文，激发创造
  • 通过隐式层集成增强自然语言理解中的外部分布检测

    该论文提出了一种基于对比学习的框架，旨在有效地进行 out-of-distribution 检测，利用预训练的语言模型吸收丰富的信息，并在意图分类和异常检测等数据集中取得了显著的效果。

    Oct, 2022

  • 适应层深度神经网络用于区分分布外数据

    本文提出了一种新的适用于深度神经网络（DNNs）的层自适应 OOD 检测框架（LA-OOD），该框架能够充分利用中间层的输出，通过在中间层同时训练多个 One-Class SVM OOD 探测器，以利用在 DNNs 不同深度上编码的完整光谱特征，而非仅集中于末端层特征，我们开发了一个简单而有效的层自适应策略来识别最佳层以便检测每个潜在的 OOD 样例。

    Mar, 2022

  • 梯度正则化的离群样本检测

    利用损失函数的梯度信息进行训练，实现神经网络在离分布数据上的检测，并通过能量采样方法提高模型性能。

    Apr, 2024

  • 利用扩散先验进行外部分布检测

    利用扩散模型的生成能力和 CLIP 的强大特征提取能力，我们提出了一种新颖的 OOD 检测方法，通过使用这些特征作为扩散模型的条件输入，我们可以在使用 CLIP 进行编码后重建图像。原始图像与重建图像之间的差异被用作 OOD 识别的信号，我们的方法不需要类别特定的标记，提高了实用性和可扩展性，且经过多个基准数据集的广泛实验证明了我们方法的鲁棒性和有效性。

    Jun, 2024

  • Model2Detector：使用少量梯度步骤拓宽信息瓶颈以进行外部分布检测

    通过信息论角度分析，本文提出一种将训练好的神经网络转换为 ODD 检测器的方法，该方法使用少量梯度下降步骤，且在流行的图像数据集上准确性优于现有方法，并且减少了计算复杂度。

    Feb, 2022

  • 扩散去噪平滑在认证和对抗鲁棒的 ODD 检测中的应用

    研究机器学习中如何确定训练分布和 ODD（Out-Of-Distribution）样本的检测机制，提出了一种基于 l2 范数的无需特定组件或训练的 ODD 鲁棒性证明的新方法以及改进了检测 ODD 攻击技巧的现有技术，在 CIFAR10 / 100 平均 OOD 检测度量方面相对于之前的方法有约 13％/ 5％的提高，并在分布内样本上提供高水平的认证和敌对鲁棒性。

    Mar, 2023

  • 多层次离群检测的函数数据视角和基线

    采用了一种基于网络的功能视图方法，通过提取多层分类器中的统计模式和关系来探测样本轨迹中的异常，从而改进了流行的过度分布检测方法。

    Jun, 2023

  • 全面的 OOD 检测改进

    机器学习中，识别推理数据是否超出模型的预期输入分布对于给出预测的上下文至关重要。我们的研究针对基于表示或基于逻辑方法的超出分布检测方法，并提出了用于特征嵌入降维的表示方法和解决了一个问题的基于逻辑方法。我们在 OpenOODv1.5 基准框架上验证了我们方法的有效性，结果显示性能显著提升，并达到了最新的技术水平。

    Jan, 2024

  • 利用重要神经元进行线外检测 (LINe)

    提出了一种新的基于神经元分析的方法，Leveraging Important Neurons (LINe)，通过使用 Shapley 值剪枝和激活截断等方法实现后置 OOD 检测。在 CIFAR-10，CIFAR-100 和 ImageNet 测试数据上，该方法表现出比其他现有后置 OOD 检测方法更高的有效性。

    Mar, 2023

  • 可证明鲁棒性的无需付出昂贵代价的异常检测

    研究使用机器学习技术的安全关键系统需要可靠的不确定性评估。本研究发现，深度神经网络在处理分布外数据时可能会产生过度自信的预测。本研究提出了一种具有保护分布外数据和高准确度的分类器，并提供所有实验代码。

    Jun, 2021