我们改进了 Carlini 等人的攻击方法，通过开发数种新技术，我们能够在多项式数量的查询和时间下，以任意高的精度提取基于 ReLU 的 DNN 的所有实数参数。我们在具有 3072 个输入、8 个隐藏层每层 256 个神经元和超过百万个神经元参数的 CIFAR10 数据集分类的全尺寸神经网络上应用我们的技术，并证明了其实际效率。与 Carlini 等人的方法相比，我们的攻击只需要在一台具有 256 个核心的计算机上花费 30 分钟，而不需要超过 2 的 256 次方的穷举搜索。

Oct, 2023

我们提出了一个基于随机高阶矩张量收缩的多尺度算法，用于发现个别神经元。在学习由 $k$ 个 ReLU 激活的线性组合方面，该算法是首个在多项式时间内成功的，而且无需额外假设网络的正系数或隐藏权重向量的矩阵具有良好的条件数。

Apr, 2023

本论文研究了具有 $k$ 个隐藏单元的一层 ReLU 网络在高斯边缘下学习的问题，并提出了适用于正系数情况的首个多项式时间算法，解决了此前在 $k≤3$ 情况下无多项式时间算法的开放性问题。然而，对于具有任意实系数的一层 ReLU 网络的 PAC 学习问题，则证明了一个统计查询下界，说明其难以在多项式时间内得到解决。

Jun, 2020

本研究旨在研究使用标准高斯分布下的 ReLU 激活函数的线性组合进行 PAC 学习的问题，并提出了一种具有高效样本和计算复杂度的算法，其复杂度接近于相关统计查询算法类中的最优复杂度。该算法使用张量分解识别出一个子空间，使其在正交方向上的所有 O (k) 阶矩都很小，并利用 Schur 多项式理论证明了当较低阶矩均很小时，较高阶矩误差张量也很小。

Jul, 2023

本文探讨了采用 ReLU 激活函数训练神经网络的复杂度问题，研究表明在神经元构架固定的情况下，两层 ReLU 神经网络的训练是 NP - 难问题，但在第一隐藏层提供足够的超参数时，可以通过多项式时间算法找到合适的权重。

Sep, 2018

该研究主要研究了如何利用差分攻击方法，通过查询神经网络的关键点来窃取模型参数，从而实现更高精度的模型抽取。

Mar, 2020

本研究提出了有效学习基于 ReLU 的常深度网络的算法，该算法运用了核方法、多项式逼近和凸优化的 “双损失” 方法，同时获得了解决 “凸分段线性拟合” 和 “在单位球上低权重多项式的噪音重构” 等其他应用。

Nov, 2016

使用一种称为过滤式 PCA 的新工具来解决学习具有 ReLu 激活函数的神经网络的问题，该算法可以快速，并且不需要权重具有良好的条件或正系数的假设。

Sep, 2020

本文研究基于 ReLU 激活函数的深度 2 神经网络在训练上的困难性，并证明了最小化给定训练集的二次损失函数下的权重和差异生成问题、K 个 ReLU 加权求和问题在现实情况下均为 NP 难问题；同时还针对该问题提出算法时间下限并进行上界分析。

Nov, 2020

该研究提出了一种基于高斯分布假设的算法，可以在多项式时间内准确地恢复两层神经网络的权重矩阵，即使在存在噪声的情况下。

Nov, 2018