- 循环稀疏训练：足够吗？
通过重复周期性训练，我们提出了 SCULPT-ing 方法，即通过稀疏掩膜的重复周期性训练，然后进行单次剪枝步骤以耦合参数和掩膜，从而在减少计算成本的同时，在高稀疏度条件下达到与最先进的迭代剪枝方法相匹配的性能。
- 大规模稀疏网络中的社群筛选
在研究中，我们介绍了一种适用于大规模稀疏网络的直观客观函数来量化聚类结果的质量，并且通过模拟网络的优化试验和基准问题的应用来证明了这种方法的实用性和准确性。
- 初始化时剪枝的信息论障碍
彩票模型的存在考虑了深度学习中是否需要大型模型以及是否可以快速识别和训练稀疏网络，而无需训练包含它们的稠密模型。通过对彩票模型的理论解释，揭示了稀疏网络需要依赖于数据的遮罩来稳定插值噪声数据。研究证实了训练过程中获取的信息可以影响模型容量。
- ELSA：无额外开销的稀疏网络部署中的部分权重冻结
ELSA 是一个实用的解决方案，可以在不同稀疏级别上轻松部署的深度网络。在预测时，只需根据预定义的掩码将权重清零，即可轻松提取任何稀疏模型，ELSA 具有简单、强大和高度灵活的特点，可以使用几乎任何现有的网络稀疏化和网络训练技术。实验证明， - SparseVSR: 轻巧且抗噪声的视觉语音识别
深度学习神经网络在视觉语音识别方面取得了前所未有的成功，本研究通过不同的基于幅度的修剪技术，生成了一个轻量级模型，其在视觉噪声存在的情况下表现出比其密集模型等效性能更高的水平，在 LRS3 数据集的 10％稀疏度下实现了最先进的结果，并在 - 基于幅度注意力的动态剪枝
本文提出了一种新颖的动态裁剪方法，称之为基于数量级注意力的动态裁剪 (MAP) 方法，该方法在前向和反向路径中均运用了权重的重要性来动态探索稀疏模型结构，可以在更高效的情况下实现密集模型的性能，并且在 CIFAR-10/100 和 Imag - 移动应用的视觉 Transformer：简要概述
本文研究提出了一些专门为移动设备设计的 ViT 架构，分析了移动应用场景下 ViT 网络所面临的挑战，旨在为未来的研究方向提供基础，并选择最佳的 ViT 视觉架构以适用于移动设备。
- ICLR稀疏分布式内存是一种连续学习器
使用稀疏分布式记忆连接核心神经回路与 Transformer 模型，创造了一种修改的多层感知器，该算法可有效解决人工神经网络所面临的连续学习问题，并广泛适用于训练稀疏网络。
- TeleGraph: 一个层次化链接预测的基准数据集
本研究介绍了 TeleGraph 数据集作为评估和促进节点关联技术的方式，表明大多数算法在类似树状的数据集上表现不佳，需要特别关注实际情况下设计或部署节点关联算法。
- 神经网络权重的逐比特训练
介绍了一种学习表示神经网络权重的个别位的算法，允许对任意位深度的整数值进行训练，无需额外的约束或正则化技术，自然地发现了稀疏网络。证明了在选择性地训练位的情况下，实现高准确度的最大贡献来自前三位最重要的位，而其余位则提供内在的正则化。因此， - 保持梯度流动：使用梯度流动研究稀疏网络优化
本文提出了一种在优化、正则化和架构设计等方面更好地拟合稀疏网络的方法，使用 Same Capacity Sparse vs Dense Comparison 和 Effective Gradient Flow 这两种指标，得出优化器、激活函 - ICML通过神经切向传递发现可训练的稀疏网络
本文介绍 “神经切向转移” 这一方法，通过在非标签环境下找到了训练动态和密集网络类似的可训练稀疏网络，通过标准的分类任务测试结果显示，这种方法能够更快地达到更高的分类性能。
- 一种实用的稀疏逼近算法用于实时循环学习
介绍了 Sparse n-step Approximation (SnAp) 来优化 Real Time Recurrent Learning (RTRL) 的影响矩阵，在保持计算成本低的同时提高了网络的学习速度，特别是在稀疏网络时，n=2 - 用于微聚类任务的随机划分模型
本文提出了一种满足微聚类特性的贝叶斯随机分区模型，并在实验中展示了该模型在实体解析的应用。
- 拆解彩票：零、符号和超级掩码
通过研究 Lottery Ticket 算法的重要组成部分，本文发现把权重设置为零、知道符号的重要性和然后掩盖行为类似于训练的原因，并发现存在 Supermasks，将其应用于未经训练的网络可产生比机会更好的性能模型。
- ICLRSNIP：基于连接敏感度的单次剪枝神经网络
本文介绍了一种通过基于连接灵敏度的显著性标准在初始化前修剪神经网络，从而在保持网络性能的同时减少空间和时间复杂度的新方法，并应用于 MNIST、CIFAR-10 和 Tiny-ImageNet 分类任务的各种体系结构中，所得到的极度稀疏网络 - ICLR深度重连：训练极度稀疏的深度网络
DEEP R 是一种基于后验随机抽样的算法，可以直接训练稀疏连接的神经网络，可以在标准基准测试任务中训练非常稀疏的前馈和递归神经网络，性能损失很小。
- 具有重叠社区的稀疏模块化图的可交换随机测度
提出了一种基于点过程的稀疏网络重叠社区结构的统计模型，采用完全随机测度向量分配节点所属的潜在社区，并开发了推断方法和图形模拟方法。在实际的网络应用中，该方法能够处理包含成千上万个节点和数万条边的网络，并能恢复出可解释的结构。
- MM利用 Grothendieck 不等式在稀疏网络中进行社区检测
本研究提出一种基于 Grothendieck inequality 的方法，旨在证明随机图上半定规划问题的一致性，可适用于众多的网络随机模型和半定规划问题，并具有普适性。同时通过应用该方法于稀疏网络中的社交圈问题，可利用各种简单和自然的半定 - 谱救赎：稀疏网络的聚类
基于非回溯行走的新型谱算法优于传统谱聚类算法，特别是对于稀疏网络，因维护大量特征值与社区相关，因此在社区探测方面更为优异。