- 鲸鱼 - FL：通过自适应子网络调度，在移动设备上实现无线和异构感知的低延迟高效联邦学习
通过自适应子网络调度，WHALE-FL 加速了联邦学习训练，而不牺牲学习准确性。
- 启发式核心：理解预训练语言模型的子网络泛化
预训练语言模型在语法泛化方面的机制通过探索子网络和注意力机制的角度，提供了更详细的描述。
- 具有结构强胜算头奖券的 N 次多项式超参数化卷积神经网络
给定一个研究论文，识别并提取五个准确代表其主题和研究领域的关键词。然后，通过一句简洁的中文句子总结该论文。输出结果为 JSON，包含关键词和摘要字段，无需解释。
- 深入理解抽奖票：抽奖票加速深入理解
通过抽象算法（Lottery Ticket Hypothesis）从完美记忆到完美泛化的过渡阶段，找到网络参数权重的关键性指标，有效描述了学习模式的转变。
- 成功将抽奖票假设应用于扩散模型
通过将 Lottery Ticket Hypothesis 应用于扩散模型，本研究首次在基准测试上发现了在稀疏度为 90%-99% 时仍能保持性能的子模型，并提出了一种可以在模型的不同层之间具有变化稀疏度的方法。
- 对敌对鲁棒性的子网络贡献的理论视角
通过引入半鲁棒性概念，本论文开发了一个新的理论框架，研究子网络的鲁棒性对整个网络的影响，并在多个深度神经网络体系结构、数据集和对抗攻击中进行了实证验证。
- 具有拓扑一致剪枝的小型图卷积网络
本文提出了一种新颖的幅值剪枝方法，通过重新参数化和两个监督双向网络来保证被提取的子网络具有拓扑一致性，从而显著增强了其泛化能力，本方法在基于图卷积神经网络的骨架动作识别任务上经过了广泛的实验证明。
- ICML即时汤：在单次传递中廉价剪枝集合可以从大型模型中抽出彩票
本文介绍了一种名为 Instant Soup Pruning (ISP) 的卷积神经网络模型剪枝方法，使用该方法在不需要昂贵硬件的情况下，生成小型剪枝模型子网络，并成功将该方法应用于两个大规模预训练模型：CLIP 和 BERT，我们的实验结 - 使用多部分图表示探索稀疏神经网络内部
本文提出了一种新的 unrolled input-aware bipartite Graph Encoding 算法用于寻找 DNN 中的高效子网络并研究其拓扑结构，以探究现有的剪枝算法和拓扑结构之间的差异以及与性能之间的关系。
- 刺激式训练 ++：超越残差网络的性能极限
本文从社会心理学的角度重新研究了残差网络的训练过程，提出了一种新的训练模式和三种改善残差网络性能的策略。作者发现残差网络内的子网络在群体中工作时更容易失去动力，称之为 “网络懒汉现象”，并提出了 “激励式训练” 等新的训练方法和三种简单有效 - 随机初始化子网络与迭代权重回收
该研究介绍了一种名为 Iterative Weight Recycling 的算法，该算法可在初始化的神经网络中识别重要权重的子集以供重复使用，可以提高模型稀疏度，此外还支持了多奖励彩票票据假设的互补结果，即高精度，随机初始化的子网络产生多 - 用对比权重修剪实现高效去偏
探索具有偏置数据集中的最佳无偏子网络的方法对于神经网络中可能存在的偏置仍然没有得到充分的研究，因此我们使用 Debiased Contrastive Weight Pruning（DCWP）算法来探索无需昂贵的组注释即可探索无偏子网络的方法 - AAAI彩票池：通过插值票券获得更多的奖励，而不增加训练或推断的成本
本研究提出一种名为 Lottery Pools 的方法，通过直接平均相邻权重和简单插值策略等优化，以更低的训练和推理成本获得更强的稀疏子网络，进而在各种现代架构上均有效提升了性能。
- 单个预训练模型生成多样性彩票模型提升集成
本文提出了 Multi-Ticket Ensemble 方法，该方法通过针对单个预训练模型的不同子网络进行微调并将它们集成，以增加预测结果的多样性，并在一些任务上取得了优于标准集成的效果。
- EMNLP一个单层随机加权 Transformer 中隐藏了什么？
通过对单层随机权重神经网络应用不同的二值掩模，我们发现这些子网络在机器翻译任务上可以实现惊人的性能，同时又不需要修改初始权重；我们还证明了更大更深的 Transformer 和不同初始化方法的有效性，这些发现可以匹敌训练过的 Transfo - GANs 也能玩彩票
本文研究了压缩深度生成对抗网络中的可训练匹配子网络的存在性和质量，并通过广泛的实验结果证明，这些找到的子网络在图像生成和图像转换上显著优于先前的最先进 GAN 压缩方法。
- ICLR研究彩票票据剪枝掩模的一致性和组合性
本文研究了采用多轮训练的方式，是否能够提高特定体系结构的准确度与稀疏性之间的平衡，并在共享的 ResNet-20 初始化的基础上使用不同的 SGD 数据顺序训练多个网络副本来实现。我们的实验结果显示，采用多轮训练的思路与一次性的基于幅度裁剪 - AAAI视觉和语言中的抽奖券玩法
本文通过实证研究发现，大规模的预训练 VL 模型中存在可训练的子网络，该子网络可通过精细修剪结构实现高精度计算并具有良好的通用性。
- 多奖金彩票假设：通过对随机权重网络修剪来发现准确的二元神经网络
本研究提出了 Multi-Prize Lottery Ticket 假设，表明含有随机权重的过度参数化神经网络包含多个可训练子网络，可以通过剪枝和精度量化来获得高精度的二进制神经网络。实验表明通过该方法得到的神经网络可以在 CIFAR-10 - 通过深度子网络混合多个输入生成多个输出的 MixMo
本文提出了 MixMo 框架，通过二元混合的方式，使用 rectangular patches from CutMix 增强特征，在 CIFAR-100 和 Tiny ImageNet 数据集上，在不需要推理和内存开销的情况下，显著优于数据