从多类神经网络中重建训练数据

May, 2023

Reconstructing Training Data from Multiclass Neural Networks

Gon Buzaglo, Niv Haim, Gilad Yehudai, Gal Vardi, Michal Irani

TL;DR本文讨论了神经网络训练集的隐私问题。作者对 Haim 等人的研究进行了改进，提出了在多类情况下对训练数据进行重建的方法，并表明使用权重衰减技术训练的模型更容易被重建。此外本研究还展示了从 100 类训练集中的 5000 个样本进行重建的初步证据。

Abstract

Reconstructing samples from the training set of trained neural networks is a major privacy concern. Haim et al. (2022) recently showed that it is possible to reconstruct training samples from →

neural network training set privacy multi-class setting sample reconstruction

发现论文，激发创造

从经过训练的神经网络中重构训练数据

本研究证明在某些情况下，可以通过已经训练好的神经网络分类器的参数，重建训练数据的大部分内容，这对隐私具有负面影响，为此提出了一种新的重建方案。

Jun, 2022

数据重构解构：多类别、权重衰减和一般性损失

本研究延伸了 Haim 等人的研究结果，提出了一种更加通用的重构方案，发现使用权重衰减可以提高训练样本的可重构性，并研究了神经网络结构、损失函数等因素对其可重构性的影响。

Jul, 2023

基于信息对手的训练数据重构

研究如何通过反向工程的方法利用少量的反向查询训练数据重建整个机器学习模型，尤其是针对神经网络等更一般的模型，通过实际攻击和差分隐私的方法来防御这种攻击，并探讨其对标准机器学习管道的影响。

Jan, 2022

揭示模型偏差：通过采样还原分析评估深度神经网络

本文提出了一种简单和经济有效的方法来评估深度神经网络是否依赖于训练样本的主要概念，或者只是学习区分类别的简单而无关紧要的特征。该方法通过恢复模型参数并分析重构质量来确定模型是否学习了所需的训练数据特征且不存在偏差。

Jun, 2023

神经网络图像分类中的梯度泄露训练数据理解

本文分析了基于梯度下降的攻击如何泄露深度学习模型的训练数据，并提出了一种度量安全性的指标，同时也提出了一种用于解决重构训练数据的优化问题的方法。

Nov, 2021

分类器解构：针对文本分类模型的数据重构攻击

本文提出了一种名为 Mix And Match 的新型有针对性数据重构攻击，强调了考虑分类模型中的数据重构攻击与隐私风险的重要性，并提供了有关可能泄漏的见解。

Jun, 2023

揭示黑匣子：用重构熵预测深度神经网络的可训练性

给定神经网络的初始条件，通过在参数空间中重建输入从相邻激活层到单层辅助网络的级联来预测深层前馈神经网络的可训练区域，从而显著降低整体训练时间，并确定信息流动与深度神经网络的可训练性之间的具体联系。

Jun, 2024

对无数据先验的对手的边界重建攻击成功性进行限制

通过实验结果，我们在现实场景中提供了差分隐私机器学习模型下重构成功的明确上界，这有助于在不同上下文和度量标准下进行隐私参数的明智选择。

Feb, 2024

深度神经网络对权重二值化和其他非线性扭曲具有强鲁棒性

本文研究发现深度神经网络在训练时即使将权重量化并投影为二进制表示也能取得优秀的性能，而在测试阶段，这些网络对于除量化以外的扭曲，包括加性和乘性噪声以及一类非线性投影具有显著的鲁棒性。此外，我们还发现基本水平的鲁棒性可以通过调整或删除一个通用的训练启发式（即在反向传播过程中投影量化权重）来实现，包括使用其他类型的权重投影和简单地剪裁权重。最后，我们提出了一种随机投影规则，实现了无数据增强条件下 CIFAR-10 中 7.64% 的测试错误率的最新记录。

Jun, 2016

通过采样预训练扩散模型进行有针对性的图像重建

该研究提出利用预训练扩散模型生成目标类别的数据点的方法，突破先前攻击者需要准确的先验目标分布的限制，以此发动神经网络模型逆推攻击的严重性。

Jan, 2023