本文研究深度神经网络中相对于输入数据的损失曲率的特性，并探讨了训练集和测试集之间的输入损失曲率变化及其对测试集辨别性的影响。通过构建理论框架，我们得出了基于隐私和训练集大小的对训练集和测试集辨别性的上界。这一新颖的发现促进了一种利用输入损失曲率的黑盒成员隶属推断攻击的开发。通过在计算机视觉分类任务中进行实验验证，我们证实了我们的理论发现，并展示了输入损失曲率在成员隶属推断效果上超过现有方法。我们的分析突出了成员隶属推断攻击方法在训练集大小变化时的性能差异，表明基于曲率的成员隶属推断攻击在足够大的数据集上胜过其他方法。我们的结果在 CIFAR10、CIFAR100 和 ImageNet 上证明了这种情况往往适用于真实数据集。这些发现不仅推进了对深度神经网络行为的理解，而且改进了在机器学习中测试隐私保护技术的能力。

Jul, 2024

本文提出通过损失函数对训练样本曲率的测量来对神经网络的记忆化能力进行研究和分析。通过对 popular image datasets 的样本进行测量、可视化和排序，研究展示了神经网络在长尾数据、错误标签和冲突样本方面的记忆化失效，并发现了 CIFAR100 数据集中存在的重复标签问题。实验结果表明，通过曲率排序可以有效地找到疑似错误标签的样本。

Jul, 2023

该论文研究了深度生成模型中可能出现的记忆问题，提供了一种衡量记忆现象的方式，并探讨了限制记忆的几种策略。

Jun, 2021

本文研究深度学习中记忆化的作用，探讨了容量，泛化，对抗鲁棒性的联系。作者的实验表明，深度神经网络在优化噪声数据和真实数据时存在数量上的差异，但经过适当的正则化调整（如 dropout），我们可以降低其在噪声数据集上的训练性能，同时不影响在真实数据上的泛化能力。研究结果表明，数据集本身在决定记忆化程度时具有重要作用，而基于梯度优化方法的深度网络的泛化性能不太可能由数据集独立的有效容量来解释。

Jun, 2017

通过对图像分类的神经网络进行实验，我们发现神经网络即使在训练数据中只出现了一次，也不经意地会记住独特的特征。我们开发了一个得分来估计模型对独特特征的敏感性，结果表明神经网络对于训练数据中罕见的隐私信息都具有风险。

Feb, 2022

基于深度学习和深度神经网络的记忆现象对模型泛化性、安全性和隐私造成了影响，并提出了系统性框架以及评估方法，通过综合文献回顾探索了深度神经网络记忆行为对安全隐私的影响，还介绍了由记忆引起的隐私漏洞，忽略现象，以及它们在噪声标签学习、隐私保护和模型增强等应用中的潜在机制，为加强人工智能发展并解决重要的伦理问题提供了独特的认识。

Jun, 2024

研究了损失函数的选择对神经网络记忆能力的影响，发现使用对称损失函数能有效降低过拟合风险并提高网络的记忆鲁棒性。

Jul, 2021

在这项研究中，我们统一了关于机器学习中记忆化的定义和观点，讨论了它们与模型泛化的相互作用以及这些现象对数据隐私的影响，并系统化了允许从各种机器学习学习设置中检测记忆化发生或量化记忆化的方法。最后，我们讨论了记忆化在隐私攻击、差分隐私和对抗性行为者等方面的背景。

Nov, 2023

该研究通过评估训练数据的统计特征对模型中的记忆编码产生的影响，重现了重复次数对记忆序列遗忘概率的对数标度关系，并发现即使没有后续接触，经过多次训练的数据仍然可以在训练过程中被揭示。由于这些潜在的记忆序列可能隐藏在模型的最终检查点上，这对数据隐私具有挑战性。为此，我们开发了一种通过考虑交叉熵损失来揭示这些潜在记忆序列的诊断测试。

Jun, 2024

扩散模型是近年来引起重要研究兴趣的高质量样本生成方法，我们的研究旨在深入理解扩散模型的记忆行为，包括有效模型记忆的定义与影响因素的量化分析。我们的实证研究发现数据分布、模型配置和训练过程等因素对记忆行为有重要影响，并且在扩散模型中，将训练数据与随机标签进行关联显著触发记忆行为。这对扩散模型的使用者具有实际意义，并为深度生成模型的理论研究提供了线索。

Oct, 2023