- 通过削峰压控实现带压缩的空中协作学习的收敛分析
本文提出了基于范数剪切的空中联邦学习机制，称作 AirFL-Clip 和 AirFL-Clip-Comp，并且为这两种机制提供了收敛性分析，支持离线评估。同时，作者扩展了这两种机制，支持 Top-k 稀疏化和线性压缩。通过实验证明，这个方法 - 具有内在隐私的通信和能源高效的无线联邦学习
本文提出了一种无线边缘私有联邦学习方案 PFELS，通过奇异值稀疏化降低通信通信和能源消耗，提高交付速度，保证客户端级别的差分隐私，实现共享全局模型过程中的隐私安全保障。实验结果表明，与现有技术相比，PFELS 在保持同等差分隐私保障的同时 - 随机和确定性关注稀疏化算法：超参数化特征维度
本研究考虑应用于大型语言模型中的注意力计算问题的矩阵稀疏化，并提出了两种算法解决该问题。实验结果表明，我们的研究成果可以将超大的特征维度降低到接近于句子长度的线性大小。
- SparDL：高效稀疏通信的分布式深度学习训练
提出了 SparDL，一种灵活而高效的稀疏通信框架，使用 Spar-Reduce-Scatter 算法来解决分布式深度学习中的梯度积累问题，并使用 Spar-All-Gather 算法进一步减少通信复杂度并调整延迟和带宽成本的比例，大量实验 - 基于核心 - 边缘原则的卷积神经网络（CP-CNN）
本研究探索了一种基于人脑网络的核心 - 边缘性能的人工神经网络设计原则，并通过该设计原则指导卷积神经网络的设计，使其相较于传统卷积神经网络以及基于 ViT 的方法，效果更为优越。
- 互补稀疏化：面向联邦学习的低开销模型剪枝
提出了一种基于 Collaborative Pruning 机制的 Model Pruning 方法，名为 Complement Sparsification (CS)。该方法能够减少通信开销，降低客户端的计算复杂度，并在保持模型准确性的同 - FasterAI：轻量级稀疏神经网络库
本文介绍了基于 PyTorch 的 FasterAI 库，通过 Callback 系统实现深度神经网络压缩技术，特别是在稀疏化技术方面的应用，只需在传统的训练循环中添加一行代码即可快速实现，且具有轻量、强大和易用的特点。
- 元学习稀疏压缩网络
本文介绍了一种新的数据表示方法 —— 隐式神经表示法，经过结构优化后，可以对比 JPEG 等传统压缩方法得到更好的压缩效果，并提出了 Meta-Learning 算法在压缩和学习隐式神经表示方面的改进方法，实现了在不同数据模态下的卓越表现。
- 基于稀疏梯度差分的分布式学习
该论文介绍了一种分布式学习任务的优化方法，称为 Gradient Descent with Sparsification and Error Correction (GD-SEC)，该方法在不降低收敛速度的情况下，将工作者到服务器的每次通讯 - ICLR如何学会不再担忧并热爱重新培训
该研究探讨了神经网络剪枝的相关问题，包括学习率、训练预算、线性学习率表等，并通过提出一个简单而有效的方法来适应性地选择线性表的初始值，进而减少网络的训练时间和复杂度。
- 重新思考将梯度稀疏化作为总误差最小化问题
通过考虑整个训练过程的通信复杂度模型，使用硬阈值稀疏化进行梯度压缩可以比 Top-k 稀疏化更加高效地减少通信成本，特别是在大型深度神经网络上。
- 全局稀疏约束下神经网络的有效稀疏化
该研究提出了一种名为 ProbMask 的基于概率空间的有效网络稀疏化方法，通过使用概率作为全局标准来度量权重重要性。 通过我们的约束，可以自动学习权重冗余度，避免为不同层调整剪枝率的问题，表现优异在 CIFAR-10/100 和 Imag - CVPR稀疏解耦潜在表示的斥力吸引驱动下的不断语义分割
本文提出了一种新的持续学习方案，该方案通过神经网络的原型匹配、特征稀疏化和对比学习等三个新组件来纠正模型在学习新任务时遗忘旧任务的问题，在语义分割上进行了测试并在 Pascal VOC2012 和 ADE20K 数据集上取得了显著的准确性， - AAAI早鸟 GCNs：通过早期抽奖实现图网络协同优化，以更高效地训练和推断 GCN
我们提出了一种基于抽奖思想的 GCN 图稀疏化方法，并发现了在 GCN 稀疏化过程中出现的图中的 “早起鸟票”（GEB）。我们开发了 GEBT 框架，该框架可通过绘制联合早起鸟票来同时稀疏化 GCN 图和模型，并在多个 GCN 模型和数据集 - 图神经网络的统一彩票假设
提出了一种统一的 GNN 稀疏化 (UFG) 框架，同时剪枝图邻接矩阵和模型权重，以有效加速大规模图上的 GNN 推理，并将 lottery ticket 假设推广到 GNN，定义了图 lottery ticket (GLT) 作为核心子数 - 不同 iable 神经体系结构搜索的一致性、效率和灵活性改进
本文介绍了一种基于可微分模型的神经体系结构搜索方法，提出了 EnTranNAS 模型，其中引入了 Engine-Cell 和 Transit-Cell 以减少搜索和评估之间的差距，实现更高效、灵活的搜索，并且引入了一种可微的稀疏化方法。在 - AAAI模型压缩中过参数化的可证益处：从双峰下降到神经网络修剪
本文分析了过参数化模型剪枝中的双重下降现象，提出了在某些情况下，训练大型模型再进行剪枝比仅使用已知信息更好的理论证明，同时也发现了重新训练的好处以及在线性和随机特征模型中已经存在这些现象，这进一步促进了高维分析工具的发展。
- EMNLP端到端语音翻译的自适应特征选择
本文介绍了自适应特征选择（AFS）来优化基于编码器 - 解码器的端到端语音翻译，实验表明， 使用 AFS 来稀疏语音特征可以提高翻译效果，降低模型计算复杂度，并与级联基线模型相比取得了更好的性能，在 LibriSpeech En-Fr 上的 - IJCAI增强稀疏化隐私与自适应优化的联邦学习
这篇论文提出了一种新的联邦学习框架，采用随机稀疏化和梯度扰动来增强差分隐私保证，结合加速技术减少隐私代价，并利用 Renyi DP 紧密评估端到端 DP 保证。实验结果验证了该方法在隐私保证和通信效率方面的优于之前的方法。
- 微调可以有多精细？学习高效语言模型
通过使用 BERT 来验证，文章研究了当使用大规模未标注文本语料库进行预训练的语言模型进行轻量级有监督微调以学习任务时，微调只在参数空间中引入了轻微的差异，可以通过对预训练参数的某些层的特定数量的条目设置为零来达到对巨大语言模型的精细调节，