本文讨论了神经网络训练集的隐私问题。作者对 Haim 等人的研究进行了改进，提出了在多类情况下对训练数据进行重建的方法，并表明使用权重衰减技术训练的模型更容易被重建。此外本研究还展示了从 100 类训练集中的 5000 个样本进行重建的初步证据。

May, 2023

本研究证明在某些情况下，可以通过已经训练好的神经网络分类器的参数，重建训练数据的大部分内容，这对隐私具有负面影响，为此提出了一种新的重建方案。

Jun, 2022

研究发现，神经网络在存在噪声或不正确标签的情况下，往往会记住有关噪声的信息。为了减少这种记忆现象，提高泛化能力，本文提出使用一个辅助网络来训练，并利用 Shannon 互信息量化记忆的信息量。在 MNIST、CIFAR-10、CIFAR-100 和 Clothing1M 等数据集上验证了该算法的有效性。

Feb, 2020

参数化神经网络权重的准确性和参数效率之间的基本权衡被研究，表明通过仅使用权重重构目标可以有效地实现恢复原始模型的准确性。此外，通过探索提高权重重构在参数效率约束下的潜在因素，提出了一种新的训练方案，将重构目标与知识蒸馏等辅助目标分离，相对于最先进的方法取得了显著的改进。最后，这些结果为更实际的场景铺平道路，其中需要同时改进模型准确性和预测网络参数效率。

Jun, 2024

该论文提出了一种利用神经网络进行优化的方法，该方法通过共享模型参数和特征表示来训练多个神经网络模型，以解决多个相关任务。论文引入了共同信息的概念，并提出了一种新的模型训练方法，通过添加一个额外的重构阶段和重构损失，将共同信息重新构建出来。该方法鼓励学习到的特征具有通用性和可迁移性，因此可以用于有效的迁移学习。通过数值模拟，研究了在不同应用领域上的性能表现。结果表明，该方法在数据和模型复杂度方面非常高效，能够抵抗过拟合，并且具有竞争性能。

Mar, 2024

本文分析了基于梯度下降的攻击如何泄露深度学习模型的训练数据，并提出了一种度量安全性的指标，同时也提出了一种用于解决重构训练数据的优化问题的方法。

Nov, 2021

从 ResNets 到 LLMs 的统一视角，权重衰减不是一个显式正则化器，而是以期望的方式改变训练动态。

Oct, 2023

机器遗忘是出于对数据自治的渴望：一个人可以要求使其数据在部署模型中的影响消失，并且这些模型应该更新，就像重新训练而没有该人的数据一样。然而，我们展示出这些更新与个人之间会暴露出高精度的重构攻击，这使得攻击者可以完整地恢复其数据，即使原始模型如此简单，以至于隐私风险可能不会引起担忧。我们展示了如何对线性回归模型中删除的数据点发起近乎完美的攻击。然后，我们将我们的攻击泛化到其他损失函数和架构，并在范围广泛的数据集上实证证明了我们的攻击的有效性（涵盖表格数据和图像数据）。我们的工作强调了即使对于极其简单的模型类别，当个人可以要求在模型中删除他们的数据时，隐私风险仍然是显著的。

May, 2024

研究如何通过反向工程的方法利用少量的反向查询训练数据重建整个机器学习模型，尤其是针对神经网络等更一般的模型，通过实际攻击和差分隐私的方法来防御这种攻击，并探讨其对标准机器学习管道的影响。

Jan, 2022

我们发现了一种现象，称之为多模型遗忘，它出现在序贯训练多个具有部分共享参数的深度网络时，以前训练的模型的性能随着优化下一个模型而降低，为了克服这个问题，我们引入了一种统计上可证明的权重可塑性损失，根据前面模型的重要性对模型的共享参数进行正则化学习，并证明了在训练两个模型时以及进行神经架构搜索时的有效性，将权重可塑性添加到神经架构搜索中可将最佳模型保存到搜索的末尾，并在自然语言处理和计算机视觉任务中获得了改进的结果。

Feb, 2019