本文探讨人类的高效持续学习如何通过多个记忆系统的神经生理机制和相互作用来实现，同时介绍了一种基于稀疏编码和多重记忆回放机制的神经网络模型，该模型可以减少遗忘。

Dec, 2022

本文中，我们提出了一种基于稀疏连接的神经网络模型，使用自适应稀疏连接和纯化神经元的方法进行训练，并将其应用于 MLP 模型上，测试结果表明，该方法在 15 个数据集上表现出了竞争性的分类和泛化性能。

Jun, 2019

本文介绍了一种基于稀疏连接实现深度神经网络的方法，并提出了一种有效的硬件架构，该方法可以减少高度复杂的神经网络的内存需求，并且可以降低能耗高昂的问题。该方法的实现可以在三个流行数据集上提高准确性，同时减少高达 90% 的连接和存储需求以及 84% 的能耗消耗。

Nov, 2016

本文提出了一种新的深度学习框架，称为嵌套稀疏网络，它利用神经网络中的 n-in-1 类型嵌套结构，实现资源感知的多功能体系结构，可以满足不同的资源要求，并利用层次分类实现了多任务学习。此外，我们还提出了有效的权重连接学习和通道和层次调度策略，评估了我们的网络在多种任务中的性能。结果表明，嵌套稀疏网络相比现有方法具有更高的效率和竞争力。

Dec, 2017

本文通过采用稀疏变分 dropout 技术和二元变分 dropout 技术，对循环神经网络进行稀疏化处理，并在情感分析和语言建模任务中取得了较高的稀疏度和较低的信息损失。

Jul, 2017

通过实验证明了通过在卷积层之间停用连接的方法将采用通道稀疏连接结构的 2D 卷积技术与许多网络体系结构一起使用，可以在保持准确性的同时实现明显的运行时间和内存储存器的节省。

Feb, 2017

本文描述了一种完全反馈的关联记忆模型，具有任意数量的层，其中一些层可以是局部连接的（卷积），以及相应的能量函数，该函数在神经元的激活动力轨迹上逐渐降低。该模型具有来自较高层的丰富反馈，以帮助较低层神经元决定它们对输入刺激的响应。

Jul, 2021

在这篇论文中，我们提出了一种自动编码器架构（WLSC），其潜在表示通过二分图的拉普拉斯二次形式实现了隐式的、本地的谱聚类，生成了一组多样的人工感受野，与 V1 的灵长类动物数据具有相近的一致性，而且也展示了我们的正则化可以被解释为感受野对特定刺激类别的早期专门化，即我们为之后的皮质阶段引入了弱的聚类偏差，这是已知的功能性和空间分离（即拓扑）发生的地方。这些结果表明，在对 V1 及其之后的特征分离进行描述时，对感受野和放电率进行空间正则化至关重要。

Nov, 2023

本文回顾了人工神经网络历史并将现代理论神经科学应用于深度学习领域中的实验，使用迭代幅值剪枝来训练稀疏连接的网络，发现仅仅靠权重稀疏并不能提高图像的噪声鲁棒性，最近，开发出利用权重稀疏性，活性稀疏性和主动树突建模来方便持续学习的模型，本文重新验证了这些发现，并将该方法扩展到更具挑战的连续学习任务上，并公开了代码。

Sep, 2022

训练在自然图像上的稀疏编码算法能够准确预测视觉皮层神经元所激发的特征，但不确定是否可以使用生物学真实的可塑性规则来学习这些代码。我们开发了一种生物物理模型的尖峰网络，仅依靠突触局部信息就能预测自然图像上 V1 简单细胞感受野的全部多样性形状，这是首次证明，稀疏编码原则在皮层结构限制下操作时可以成功地再现这些感受野。我们进一步证明，稀疏性和去相关是允许突触局部可塑性规则优化神经表达形成的合作线性生成图像模型的关键因素。最后，我们讨论了我们的网络的几个有趣的新兴属性，以期弥合视觉皮层的理论和实验研究之间的差距。

Sep, 2011