本文旨在通过完全贝叶斯处理下的尖峰 - 平板先验训练稀疏深度神经网络，通过连续放松伯努利分布开发一组计算有效的变分推断方法。实证结果表明，这种变分程序不仅提供了关于贝叶斯预测分布的不确定性量化，而且还能通过训练稀疏多层神经网络实现一致的变量选择。

Nov, 2020

在这篇论文中，我们提出了一种自动编码器架构（WLSC），其潜在表示通过二分图的拉普拉斯二次形式实现了隐式的、本地的谱聚类，生成了一组多样的人工感受野，与 V1 的灵长类动物数据具有相近的一致性，而且也展示了我们的正则化可以被解释为感受野对特定刺激类别的早期专门化，即我们为之后的皮质阶段引入了弱的聚类偏差，这是已知的功能性和空间分离（即拓扑）发生的地方。这些结果表明，在对 V1 及其之后的特征分离进行描述时，对感受野和放电率进行空间正则化至关重要。

Nov, 2023

本文提出了一种稀疏深层堆叠网络（S-DSN），其中包括稀疏编码和加入混合范数规则的简化神经网络模块（SNNM），用于图像分类。实验结果表明，该模型在四个数据库中表现优异，尤其是在 15 个场景中达到了 98.8％的识别准确率。

Jan, 2015

本文提出了一套通用的框架用于理解交替最小化原理并分析已有的稀疏编码算法，同时设计了具备可证明保障的新算法并在简单的神经结构上实现；给出了首个高效的稀疏编码算法，可以接近或超过用于不相关字典稀疏恢复的信息理论极限，同时改善了现有方法的样本复杂度。

Mar, 2015

稀疏子空间变分推理（SSVI）是一种全稀疏贝叶斯神经网络（BNN）框架，它通过从随机初始化的低维稀疏子空间开始，交替优化稀疏子空间基选择和相关参数，实现了在训练和推理阶段一致高稀疏性的 BNN 模型。

Feb, 2024

本文提出了一种基于 spike-and-slab 稀疏编码的因子模型，使用结构化变分推断和变分 EM 算法进行训练并得到与 CIFAR-10 和 STL-10 数据集上最先进的自学习和半监督学习表现，并赢得了 NIPS 2011 年挑战性学习分层模型转移学习竞赛的冠军。

Jan, 2012

近期的模型反演攻击算法允许攻击者通过多次查询神经网络并检查其输出来重建网络的私密训练数据。本文开发了一种新型网络架构，利用稀疏编码层来提高对此类攻击的抵御能力。相比于多种最先进的防御方法，我们的稀疏编码网络架构在保持相当或更高分类准确性的同时，能够将最先进的训练数据重构质量降低 1.1 至 18.3 倍。此性能优势适用于从 CelebA 脸部到医学图像和 CIFAR-10 的 5 个数据集，以及包括 Plug-&-Play 攻击在内的各种最先进的基于 SGD 和 GAN 的反演攻击。我们提供了一个可用于集群的 PyTorch 代码库，以推动研究并标准化防御评估。

Mar, 2024

通过学习稀疏编码图像的通用稀疏编码字典和针对特定标签的转换函数，我们的方法可以将测试图像进行语义分割。我们在轮廓检测任务上展示了与当前最先进系统相当的性能，并展示了在人脸语义分割任务中的初步结果。

Oct, 2014

本文提出一种基于分块离散余弦变换（DCT）块的生成模型，使用 Transformer-based 自回归模型对块进行预测，以生成高质量、多样化的图像，并展示了对于简单的改进，该方法在图像着色和高精度图像放大方面也具有有效性。

Mar, 2021

本文介绍了一种利用可微稀疏映射的参数化离散分布的训练策略，可在离散（分类或结构化）潜变量的情况下进行精确的边际化，避免了噪声梯度估计器或连续弛豫的需要，并在三个不同的潜变量建模应用场景取得了成功的结果。

Jul, 2020