使用基于 spike-and-slab sparse coding 的新特征学习和提取程序，通过适合于 GPU 的推理过程来克服大数量类的对象识别中标记样本数量的不足，并证明其在 CIFAR-10 和 CIFAR-100 数据集上能够提高监督学习性能和比以前的方法更好地扩展到大量的类别，从而成功赢得了 2011 年 NIPS 工作坊中的挑战

Jun, 2012

在这篇论文中，我们提出了一种自动编码器架构（WLSC），其潜在表示通过二分图的拉普拉斯二次形式实现了隐式的、本地的谱聚类，生成了一组多样的人工感受野，与 V1 的灵长类动物数据具有相近的一致性，而且也展示了我们的正则化可以被解释为感受野对特定刺激类别的早期专门化，即我们为之后的皮质阶段引入了弱的聚类偏差，这是已知的功能性和空间分离（即拓扑）发生的地方。这些结果表明，在对 V1 及其之后的特征分离进行描述时，对感受野和放电率进行空间正则化至关重要。

Nov, 2023

本文提出了一种名为 Deep Sparse Coding 的新的无监督特征学习框架，扩展了稀疏编码到多层体系结构，用于视觉对象识别任务，在不同层次的稀疏编码之间连接一种稀疏到密集的模块，结合卷积神经网络（CNN）可达到最先进的性能表现。

Dec, 2013

Scalable Spike-and-Slab is proposed as a Gibbs sampling implementation for high-dimensional Bayesian regression with a continuous spike-and-slab prior, resulting in significant computational efficiency improvements over existing implementations.

Apr, 2022

本文提出一种新方法进行稀疏编码，在学习稀疏分布时通过截断样本避免使用有问题的松弛方法。通过在 Fashion MNIST 和 CelebA 数据集上与标准变分自编码器进行比较，证明了该方法具有更优越的性能、统计效率和梯度估计。

May, 2022

本文提出了一个用于结构化稀疏编码和建模的综合框架，扩展了使用可学习的快速回归器来逼近精确稀疏编码的最近思想，并演示了一个有效的前馈体系结构来近似精确结构化稀疏编码与标准优化方法相比，此体系结构的复杂性仅为一小部分，并且可以应用于大规模实时应用，因此该框架适用于大规模应用的实时情况。

Jun, 2012

本研究提出了一种基于稀疏编码和深度学习相结合的聚类方法，利用图形正则化稀疏编码算法构建 TAGnet 前馈神经网络，并通过添加聚类任务计算 DTAGnet 网络，实验结果表明该方法在效率与可伸缩性方面明显优于其他先进方法。

Sep, 2015

该研究解决了在有不完整的特征数据集的情况下训练分类器的问题，开发了一种新的有监督学习方法，在假设数据矢量在未知字典上是稀疏表示的条件下，使用每个样本的特征子集来训练一个通用分类器，并且通过提出的充分条件，该方法在人工和公开数据集上验证其理论的有效性。

Nov, 2020

近期的模型反演攻击算法允许攻击者通过多次查询神经网络并检查其输出来重建网络的私密训练数据。本文开发了一种新型网络架构，利用稀疏编码层来提高对此类攻击的抵御能力。相比于多种最先进的防御方法，我们的稀疏编码网络架构在保持相当或更高分类准确性的同时，能够将最先进的训练数据重构质量降低 1.1 至 18.3 倍。此性能优势适用于从 CelebA 脸部到医学图像和 CIFAR-10 的 5 个数据集，以及包括 Plug-&-Play 攻击在内的各种最先进的基于 SGD 和 GAN 的反演攻击。我们提供了一个可用于集群的 PyTorch 代码库，以推动研究并标准化防御评估。

Mar, 2024

本文旨在通过完全贝叶斯处理下的尖峰 - 平板先验训练稀疏深度神经网络，通过连续放松伯努利分布开发一组计算有效的变分推断方法。实证结果表明，这种变分程序不仅提供了关于贝叶斯预测分布的不确定性量化，而且还能通过训练稀疏多层神经网络实现一致的变量选择。

Nov, 2020