- KDD自适应时空图神经网络中的图中优胜模型的预训练鉴定
通过引入 “图中的中奖号码（GWT）” 的概念，我们提出了一种新颖的方法来显著提高自适应空间 - 时间图神经网络（ASTGNNs）的计算效率。通过采用预先确定的星形拓扑作为 GWT 来训练，我们在减少计算需求的同时，保持高性能的模型表现。我 - ICML在神经网络中倾斜彩票的机会：过参数化和课程表的相互作用
通过分析，我们研究了课程学习和超参数化在在线学习环境中的相互作用，结果显示，过度参数化可以简化问题，但可能限制了课程学习的效果，从而为深度学习中课程学习的无效性提供了理论解释。
- 早鸟获得蠕虫：启发式加速早鸟收敛
WORM 方法研究了 Lottery Ticket 假设和 Early Bird 假设，通过利用静态组中的不重要神经元来加速模型训练和减少计算量，提高了模型的鲁棒性并适用于不同的架构。
- 彩票票假设与迭代剪枝的深入洞察
深度神经网络的票证彩票假设强调了重新训练使用迭代幅度修剪过程获得的更稀疏网络所使用的初始化的重要性。这项研究试图通过对幅度修剪过程的各个阶段获得的解决方案的体积 / 几何和损失景观特征进行经验性研究，以揭示票证彩票假设的特定初始化为何在泛化 - 抽奖票据假设调查
抽奖票假设（LTH）指出，一个密集的神经网络模型包含一个高度稀疏的子网络（即获奖票），当单独训练时可以实现比原始模型更好的性能。尽管 LTH 已经在许多工作中经过了经验和理论上的证明，但仍然存在一些待解决的问题，如效率和可扩展性。此调查旨在 - KS-Lottery: 查找多语言模型的认证彩票
通过使用 Kolmogorov-Smirnov 检验分析微调前后的参数分布变化，我们提出了 KS-Lottery 方法，以识别在多语言微调中非常有效的少数 LLM 参数集。我们进一步从理论上证明了 KS-Lottery 可以在嵌入层中找到被 - TEDDY: 根据度数进行边缘修剪的歧视策略
TEDDY 是一种基于边缘稀疏化和结构信息的一次性稀疏化框架，超过了常规的迭代方法，在只利用图结构而不考虑节点特征的情况下实现了图抽奖券的高效率和快速实现。
- 通过彩票票据假设和基于知识蒸馏的神经网络修剪增强推荐系统的可扩展性
该研究介绍了一种创新方法，旨在高效剪枝神经网络，特别关注其在边缘设备上的部署。通过将 “Lottery Ticket Hypothesis”（LTH）与 “Knowledge Distillation”（KD）框架相结合，我们提出了三个不同 - 稀疏 Spikformer：脉冲变换器的令牌和权重剪枝的协同设计框架
SparseSpikformer 是一种通过令牌和权重修剪技术实现稀疏性的共设计框架，可以显著减少模型参数 90％并减少 20％的 GFLOPs，同时保持原始模型的准确性。
- 成功将抽奖票假设应用于扩散模型
通过将 Lottery Ticket Hypothesis 应用于扩散模型，本研究首次在基准测试上发现了在稀疏度为 90%-99% 时仍能保持性能的子模型，并提出了一种可以在模型的不同层之间具有变化稀疏度的方法。
- 利用变量参数探索超出分布的全局化，以从失败的彩票中获得奖励
通过完全探索变异和不变参数，我们的 EVIL 可以有效识别一个稳健的子网络，以提高对分布外泛化的能力。在集成测试台 DomainBed 上进行的大量实验证明，EVIL 可以高效地增强 ERM、IRM、SAM 等许多流行方法。
- HyperMask：自适应基于超网络的掩码用于持续学习
通过 HyperMask 方法，利用受 Lottery Ticket Hypothesis 影响的超网络产生适应新任务的半二值掩码，从而解决了人工神经网络在连续训练多个任务时遇到的灾难性遗忘问题。
- 迭代幅值修剪作为重整化群：抽奖票假设背景下的研究
本文探讨了深度神经网络（DNNs）的复杂世界，专注于激动人心的 Lottery Ticket Hypothesis（LTH）的概念。LTH 假设在大量的 DNNs 中，较小的可训练子网络（称为 “中奖票”）可以达到与完整模型相当的性能。我们 - 探索抽奖票假设和可解释性方法：稀疏网络性能洞察
在本研究中，我们通过使用 Grad-CAM 和 Post-hoc 概念瓶颈模型（PCBMs）分别从像素和高级概念的角度，调查了经过裁剪的网络的可解释性。通过在视觉和医学影像数据集上进行广泛实验，我们发现随着权重的减少，网络的性能会下降，并且 - 渐进式神经表征用于序列视频编制
本文研究了基于 NIR 的神经序列视频表示方法，提出了一种基于彩票票据假设的逐渐增强的神经视频表示模型 PNR，并在 UVG8/17 视频序列基准上展示了其有效性。
- ICML即时汤：在单次传递中廉价剪枝集合可以从大型模型中抽出彩票
本文介绍了一种名为 Instant Soup Pruning (ISP) 的卷积神经网络模型剪枝方法，使用该方法在不需要昂贵硬件的情况下，生成小型剪枝模型子网络，并成功将该方法应用于两个大规模预训练模型：CLIP 和 BERT，我们的实验结 - DAG-DNNs 函数的表示和分解与结构网络剪枝
通过 DAG-DNN 框架的分解结构，能够将深度神经网络的所有函数分别应用在网络的子结构中，从而实现系统性地结构修剪，进一步得出了基于交错方阵的网络修剪方法。
- 神经网络常微分方程求解器中获胜彩票的可转移性
通过重整化群理论及迭代幅度修剪的方式优化神经网络，找到了适用于 Hamiltonian Neural Networks 的神奇票据，并且发现了它们的普适性.
- 大型预训练模型中基本稀疏性的出现：重要的权重
本文 comprehensively 研究了 multiple pre-trained vision and language transformers 的 induced sparse patterns，进一步导出了 essential - 初始化剪枝：基于草图视角
研究了在线性设置中用于剪枝神经网络的 lottery ticket hypothesis (LTH)，发现找到一个稀疏的 mask 等价于为高效矩阵乘法引入的 sketching 问题，并以此作为工具来分析 LTH 问题并提出通用改进算法。