研究表明网络稀疏性可以提高神经网络对成员推断攻击的隐私保护能力，在保持可比性能的同时。这项实证研究对现有文献进行了补充和扩展。

Apr, 2023

本文研究了基于深度神经网络的分类模型中稀疏性与鲁棒性之间的关系，并理论和实证分析表明，适当的模型稀疏化可以提高非线性 DNN 的鲁棒性，但过度稀疏化会使模型更难抵抗对抗性样本攻击。

Oct, 2018

本文系统梳理了当前深度学习领域中关于稀疏性技术的研究现状，并提供了丰富的稀疏性实现、训练策略及其数学方法等方面的教程，指明如何通过利用稀疏性以达到优化神经网络结构和提高性能的目的。

Jan, 2021

本文中，我们提出了一种基于稀疏连接的神经网络模型，使用自适应稀疏连接和纯化神经元的方法进行训练，并将其应用于 MLP 模型上，测试结果表明，该方法在 15 个数据集上表现出了竞争性的分类和泛化性能。

Jun, 2019

本文研究了深度神经网络的泛化能力和节点稀疏性之间的关系，通过开发一个基于减小的有效模型大小的框架来证明了稀疏和泛化之间的基本权衡关系，并提出了一种新的方法来分析这个问题。

Jul, 2023

本篇论文研究了针对深度神经网络的对抗攻击问题，表明对于稀疏输入数据表示，我们可以利用线性分类器的稀疏编码来有效减缓攻击，并将其扩展到深度神经网络中，发现使用局部线性模型可以有效降低 MNIST 数据集上的攻击成功率。

Mar, 2018

使用标准的计算机视觉和自然语言处理稀疏基准测试，探讨高稀疏性对模型训练的影响，提供了一种解决有关稀疏训练困难的新方法，并在高稀疏性环境下实现了在视觉模型和语言模型上最先进的结果。

Aug, 2023

近期的模型反演攻击算法允许攻击者通过多次查询神经网络并检查其输出来重建网络的私密训练数据。本文开发了一种新型网络架构，利用稀疏编码层来提高对此类攻击的抵御能力。相比于多种最先进的防御方法，我们的稀疏编码网络架构在保持相当或更高分类准确性的同时，能够将最先进的训练数据重构质量降低 1.1 至 18.3 倍。此性能优势适用于从 CelebA 脸部到医学图像和 CIFAR-10 的 5 个数据集，以及包括 Plug-&-Play 攻击在内的各种最先进的基于 SGD 和 GAN 的反演攻击。我们提供了一个可用于集群的 PyTorch 代码库，以推动研究并标准化防御评估。

Mar, 2024

本文发现，尽管目前大多数人工神经网络都采用密集表示，然而生物神经网络却采用稀疏表示。我们研究发现，只要稀疏表示的维度足够高，那么这种表示在噪声和干扰方面会更加稳健。同时，我们还提出了一个关键的洞察力，即围绕稀疏向量的可操作体积与表示空间体积之比随着维数呈指数下降。我们提出了一种包含稀疏权重和激活的计算效率高的稀疏网络，并在 MNIST 和 Google 语音命令数据集上进行了模拟，结果表明，与密集网络相比，这种网络在保持竞争性准确性的同时，表现出了更强的稳健性和稳定性。本文讨论了这种稀疏性在准确性、噪声稳健性、超参数调整、学习速度、计算效率和功耗要求等方面的潜在优势。

Mar, 2019

本文介绍了 Faster CryptoNets，一种使用神经网络进行高效加密推理的方法。该方法使用了稀疏表示在底层密码系统中的剪枝和量化方法来加速推理，并展示了如何使用隐私安全的训练技术来减少加密推理的开销。本方法可以有效保护用户隐私并且在保持精度的同时实现了显著的加速。

Nov, 2018