- ALMA: 基于数学的一种方法，用于确定广义 LASSO 问题的调整参数，及其在 MRI 中的应用
通过 TV-regularized LASSO 方法和 ALMA 算法，本研究为 MRI 重建过程中选择合适的调优参数提供了一种数值求解约束优化问题的有效工具。
- ShadowLLM: 基于预测的上下文稀疏化大语言模型
使用 ShadowLLM 预测器可实现更好的稀疏模式，提高 15% 的准确率，同时减少 20% 的延迟，验证了具有 300 亿参数的模型。
- 用 Bregman 学习稀疏化 PDE 解数据的降维
我们提出了一种多步算法，通过在编码器 - 解码器网络中引入稀疏性来减少参数的数量和潜在空间的额外压缩。该算法以稀疏初始化网络开始，并使用线性化的 Bregman 迭代进行训练。在训练之后，我们进一步通过使用一种适当的正交分解形式来压缩潜在空 - 高维空间中学习稀疏特征的最优修剪
通过在高维度中训练剪枝神经网络并与梯度下降算法结合，我们研究了剪枝网络对广泛类统计模型学习的影响，发现剪枝神经网络在样本复杂度上相比未剪枝网络有提升，并引入了相关统计查询下界来支持这一观点。
- 带有稀疏通信的联合 LoRA
在联邦学习中，通过应用稀疏性来提高 Low-rank adaptation (LoRA) 的通信效率，而不影响其性能，并且相对于现有方法具有更好的异质性和隐私保护。
- 零阶极度稀疏 LLMs 的微调
本研究通过将稀疏性和量化技术整合到零阶优化（ZO）细调的大型语言模型（LLM）中，从而解决在内存受限环境（如移动电话和笔记本电脑）中使用 ZO 细调的挑战。研究结果表明，使用 ZO 对 LLM 进行 0.1% 敏感参数细调能优于全面细调，并 - HASS: 数据流 DNN 加速器的硬件感知稀疏性搜索
利用软硬件协同优化的方法，我们提出了一种针对数据流加速器的利用非结构化稀疏性的新方法，通过一系列模型，在现有的疏松设计中实现了从 1.3 倍到 4.2 倍的效率提升，特别是 MobileNetV3 的吞吐量可以优化到 4895 张图像每秒。 - 分支：用于优化决策树的快速动态规划和分支限界算法
Branches 算法结合了动态规划和分支界限方法，提供了出色的速度和稀疏性解决方案，通过理论分析和实证评估验证了比现有方法更低复杂性以及始终产生最优的决策树的优势。
- ACL大规模语言模型的稀疏加速训练
使用稀疏性加速预训练大型语言模型 (LLMs) 的训练过程，通过观察前向迭代中被激活的神经元的稀疏性，排除不活跃的神经元以提高计算速度，这一方法在实践中实现了与标准训练相媲美甚至更好的性能，持续预训练中吞吐量提升了 45%，在监督微调中节省 - ICMLMultiMax：稀疏和多模态的注意力学习
通过提出 MultiMax 这种分段可微凸函数，根据输入条目范围自适应调节输出分布，我们解决了 SoftMax 及其变体在多模态和稀疏性之间的权衡问题，成功产生了抑制无关条目而保留多模态的分布，对图像分类、语言建模和机器翻译产生了有益的影响 - 非对称核学习的核岭回归学习分析
本文通过加入局部自适应带宽的 RBF 核和核学习技术，提升了核无岭回归，并首次证明了由 LAB RBF 核学习的函数属于可重构核希尔伯特空间。尽管所提出模型中没有显式正则化，但其优化等效于在可重构核希尔伯特空间中解决一个 l0 正则化问题， - 稀疏性与量化的有效相互作用：从理论到实践
深度神经网络的模型压缩是提高计算效率和减小内存占用的必要手段。本文通过数学证明和实证研究，发现在计算操作中先应用稀疏化再进行量化是最优的操作次序，以最小化计算误差。同时，稀疏化和量化的相互作用会对模型精度造成重要的影响，其中量化误差在这一降 - 基于稀疏性和混合性灵感的视觉参数高效微调在医学诊断中的应用
基于 LVM 的 Sparsity 和 Hybridity 特性，利用 SH-PEFT 方法在医学诊断中通过训练少量的权重，超越了全模型微调，并达到了同其他针对特定医学任务优化的模型可比较的性能，表明大型模型传输在医学诊断中具有巨大潜力。
- 高阶张量恢复的 L1 - 范数正则化 Kaczmarz 算法的能力
本文提出了利用稀疏性和 / 或低秩性的张量数据重建高阶张量的新颖 Kaczmarz 算法，并开发了块和加速变体，以及对这些算法的充分收敛分析。对合成和真实数据集上的各种数值实验表明，所提方法在图像和视频处理任务中具有显著的潜力和有效性，例如 - 强化学习任务的神经网络压缩
在强化学习中应用稀疏性和修剪方法对神经网络推断进行优化，从而达到能耗和延迟效率的提升，本研究针对不同强化学习算法及环境系统地进行了探索，并取得神经网络规模最多减小 400 倍的优化效果。
- GDGS：基于梯度领域高斯分解的辐射场稀疏表示
我们提出了一种新方法，通过建模原始信号的梯度来实现更高效的存储和计算性能，使用稀疏的梯度进行视图合成，从而使计算性能提高了 100-1000 倍，同时可以通过解决一个具有线性计算复杂度的泊松方程来恢复二维图像。该方法在人体建模和室内环境建模 - 高稀疏性基础 Llama 模型的高效预训练和部署
通过稀疏性，我们能够以较小的模型实现更快的训练和推理加速，并且不牺牲准确性。
- 稀疏特斯林机器：活动文字的稀疏表示
这篇论文介绍了稀疏 Tsetlin 机器（STM），一种高效处理稀疏数据的新型 Tsetlin 机器（TM）。通过引入活跃文字（AL），STM 可以集中关注当前数据表示中实际有贡献的文字，显著减少内存占用和计算时间，同时展现了有竞争力的分类 - 多层级指投影与指数并行加速；应用于稀疏自编码器神经网络
提出了一种新的双层投影方法，其 l1,inf 范数在矩阵中的时间复杂度仅为 O (nm)，在具有完全并行能力时为 O (n+m)，同时还将方法推广到张量，并提出了一个引发线性并行加速和指数加速因子的分解的多级投影方法，结果是时间复杂度的下限 - 神经形态语言模型中的权重稀疏性与活动稀疏性相辅相成
通过研究神经网络的活动稀疏性和参数稀疏性，探讨了在序列建模中将两者相结合的权重剪枝的效果，结果表明稀疏连接的基于事件的神经网络是有效和高效的序列建模模型。