Mar, 2020

神经网络的鲁棒性外部分布检测

HTML
PDF
TL;DR本文主要研究深度学习模型在检测 in-distribution 和 OOD inputs 时受到极小对抗扰动的影响，并提出了一种名为 ALOE 的有效算法，该算法通过将模型暴露于经过对抗训练的 inlier 和 outlier examples 中的方式，可以灵活地与现有方法相结合，提高现有的 Out-of-distribution detection 方法的鲁棒性，CIFAR-10 和 CIFAR-100 数据集的 AUROC 分别提高了58.4% 和46.59%。
发现论文，激发创造
  • 使用早期层输出在深度神经网络中检测超范围输入

    本研究提出了一种新的的基于输出层的单类分类器方法用于检测深层分类器中的异常值输入，该方法无需访问OOD样本且在低维和高维数据集上表现出优异的性能指标。

    Oct, 2019

  • ATOM: 使用异常值挖掘强化外部数据分布检测

    本研究提出了一种理论上动机驱动、运用了有意义外部数据挖掘的对抗训练算法 ATOM，从而提高了深度学习模型的Out-of-Distribution Detection能力，在包括对抗式输入在内的广泛经典OOD检测任务中，实现了最佳性能。

    Jun, 2020

  • 可证明鲁棒性的无需付出昂贵代价的异常检测

    研究使用机器学习技术的安全关键系统需要可靠的不确定性评估。本研究发现，深度神经网络在处理分布外数据时可能会产生过度自信的预测。本研究提出了一种具有保护分布外数据和高准确度的分类器，并提供所有实验代码。

    Jun, 2021

  • 针对超出分布检测的可证明保障

    本文研究了如何检测机器学习模型移植到实际应用中可能出现的数据分布偏移，提出了一个以神经网络为基础的OOD检测方法，并结合理论与实验表现对其进行了分析与评估。

    Dec, 2021

  • 基于OOD训练数据的许多方法估计相同核心量的组合来分解OD检测

    本文旨在识别常见的目标，以及识别不同OOD检测方法的隐含评分函数。我们展示了许多方法在共享学习方式下表现相似，二进制区分器达到与异常暴露相似的OOD检测性能，还展示了置信度损失具有在理论上最优得分函数不同但与训练和测试out-distribution相同时的函数相似的隐含评分函数，从实践中发现，这些方法训练方式一致时都表现相似。

    Jun, 2022

  • 扩散去噪平滑在认证和对抗鲁棒的ODD检测中的应用

    研究机器学习中如何确定训练分布和ODD（Out-Of-Distribution）样本的检测机制，提出了一种基于l2范数的无需特定组件或训练的ODD鲁棒性证明的新方法以及改进了检测ODD攻击技巧的现有技术，在CIFAR10 / 100平均OOD检测度量方面相对于之前的方法有约13％/ 5％的提高，并在分布内样本上提供高水平的认证和敌对鲁棒性。

    Mar, 2023

  • 离群数据：对抗样本的熟悉——综述

    深度神经网络在现实应用中会遇到来自分布失真和对抗性攻击的数据，本综述聚焦于这两个领域的交叉研究，探讨如何通过鲁棒的分布失真检测和统一的鲁棒性进行对抗性攻击和对分布失真数据的健壮处理。

    Apr, 2024

  • 梯度正则化的离群样本检测

    利用损失函数的梯度信息进行训练，实现神经网络在离分布数据上的检测，并通过能量采样方法提高模型性能。

    Apr, 2024

  • 神经网络中利用吸引子的鲁棒图像分类在存在外部分布和对抗样本的情况下

    在面对高干扰水平的离群样本和对抗性攻击时，通过利用训练样本作为吸引子训练全连接神经网络，可以提高网络的稳健性和对离群样本的识别能力，从而实现稳健分类，证实其在高度干扰的MNIST测试数据上达到87.13%的准确率，并以98.84%和99.28%的准确率分别区分fashion-MNIST和CIFAR-10-bw作为离群样本。即便在面对严重的对抗性攻击时，这些度量略有降低至98.48%和98.88%，从而证明所提方法的稳健性。

    Jun, 2024

  • 利用Lyapunov稳定嵌入实现对抗鲁棒的分布外检测

    本研究针对现有分布外检测方法在面对对抗性攻击时的脆弱性，提出了一种新颖的方法AROS，结合神经常微分方程和Lyapunov稳定性理论，以获得鲁棒的嵌入表示。通过引入专门的损失函数和合成的伪分布外嵌入，该方法显著提高了在对抗攻击下的鲁棒检测性能，提高率达80.1%和67.0%。

    Oct, 2024