ICMLJul, 2020

神经网络的空间空值分析异常检测

PDF
TL;DR本文提出一种名为 NuSA 的方法，通过计算和控制神经网络中的零空间投影大小，成功地将异常样本检测方法整合到分类模型中，实现对异常情况的精确识别。实验表明，使用 NuSA 训练的网络既能保持其分类性能，同时也能以类似于常用异常值检测算法的速率检测异常值。
machine learningoutlier detectionneural networksclassificationnull space analysis
发现论文，激发创造
  • 量化过拟合：通过零空间分析评估神经网络性能

    研究如何在没有访问训练数据或知道其准确性的情况下，使用测试数据来量化过度拟合的神经网络中的空值，并发现在过度拟合和普遍化不佳的模型中有特定的空间特征，以保证方法的隐私性和普适性。

    May, 2023

  • 神经网络的零空间特性及其在图像隐写术中的应用

    本文探讨神经网络的零空间特性，扩展了线性到非线性映射的零空间定义，并讨论了神经网络中的零空间存在。我们利用零空间的部分来欺骗神经网络，揭示了神经网络的内在弱点。我们描述了一种图像隐写术的应用，并通过在 MNIST 等图像数据集上的实验表明，我们可以利用零空间成分来强制神经网络选择一个选定的隐藏图像类别，即使整体图像看起来完全不同。最后，我们比较了人类观察者所看到的图像和神经网络实际用于进行预测的图像部分，证明神经网络 “看到” 的与我们预期完全不同。

    Jan, 2024

  • 具有线性抵消的元学习器

    本研究提出了一种利用线性转换器的元学习算法，该算法进行神经网络输出的零空间投影。其主要思想是构造一种替代分类空间，使得在 few-shot 学习期间，错误信号可以在该空间上迅速归零，从而实现低数据的可靠分类。查询的最终决策是利用网络输出和参考向量之间的空间投影距离来获得的，这两者都是在初始学习阶段中训练的。在给定模型大小的已知方法中，我们的元学习器在 Omniglot 和 miniImageNet 数据集上实现了最佳或接近最佳的图像分类精度。

    Jun, 2018

  • 训练神经网络的异常检测性能分析

    本文分析了三种 in - 和 out-of-distribution 数据的分离方法及其性能，包括超级监督的应用及其训练过程中的性能评估，研究表明理解训练结果与监督性能与提高模型强健性密切相关，为安全应用提供了论据，并应用于两个额外的数据集。

    Apr, 2022

  • 通过迭代零空间投影来保护受保护属性

    我们提出了一种名为迭代零空间投影 (INLP) 的新方法，它基于线性分类器的训练，通过在空间中进行映射，以消除神经表示中的特定属性，并减少了词嵌入中的偏见，提高了多类分类的公平性。

    Apr, 2020

  • UNSW-NB15 计算机安全数据集：可视化分析

    本文通过对 UNSW-NB25 计算机网络安全或入侵检测数据集的视觉分析，检测出两个主要问题即类别不平衡和类别重叠，建议在应用此数据集前先解决这两个问题。

    Jan, 2021

  • 使用单类神经网络进行异常检测

    本文提出了一种一类神经网络（OC-NN）模型，该模型结合了深层网络提取数据的逐渐丰富的表示能力和创造紧密包围正常数据的单类目标，从而可以检测复杂数据集中的异常值，实验证明该方法表现良好。

    Feb, 2018

  • 使用缩小的正常性聚类检测视频中的异常事件

    该研究旨在解决异常事件检测问题，提出了一种基于 k-means 聚类和支持向量机的两阶段算法来消除异常点，并使用预训练神经网络的最后一层卷积层提取深度外观特征来增强时空立方体。通过在仅包含正常事件的训练视频中提取运动和外观特征并应用 k-means 聚类来发现代表不同类型的正常运动和外观特征的簇，然后训练每个簇上的一类支持向量机模型来缩小剩余簇的边界，最后通过分析每个测试样本对应的训练好的支持向量机模型的最大正常度量去判断测试样本是否异常。该方法在三个基准数据集上与多种现有方法进行了比较，实验结果表明，该异常事件检测框架在大多数情况下可以获得更好的结果，并以每秒 24 帧的速度在单个 CPU 上实时处理测试视频。

    Jan, 2018

  • 逆问题的深度空间学习：收敛分析和速率

    本文介绍了一种称为 Null Space Networks 的新型网络结构，提出了概念 M 正则化，并通过将它与标准正则化方法结合使用，讨论了两阶段深度学习方法在逆问题求解中的实践和理论难点，同时指出 Null Space Networks 自然地保留了数据一致性特征。

    Jun, 2018

  • 使用变分自编码器进行 q 空间新颖性检测

    文章提出一种基于 VAE 的新颖性检测方法，使用该方法可以检测出多发性硬化症的扩散 MRI 扫描中的异常区域，并且在 MNIST 手写数字数据集上取得了优于现有方法的效果。

    Jun, 2018