基于稀疏性指导的帧内插网络设计
这篇论文首次从理论上分析了低秩和稀疏性在一层 Transformer 中的特性，并通过数量化可训练参数的梯度更新得出了梯度具有低秩性的结论，同时论文还分析了模型剪枝对泛化能力的影响以及对计算效率的改善。
Jun, 2024
通过分析训练数据中的 ` 词汇 ' 对总结任务的具体影响，本文研究细粒度因素对于领域适应性能的影响，并提出将数据集学习难度量化为生成式总结的学习难度，并得出跨域重叠与总结任务的性能增益之间存在近似线性关系的实验结论，从而实现对未知领域数据集模型性能的预测而无需经过训练。
Jun, 2024
在大型语言模型中，考虑到模型权重的扰动效应，我们通过优化分析和 Moreau 包络来提出了一种名为 MoreauPruner 的结构剪枝方法，能够稳定地对模型进行剪枝，并成功地与其他几种剪枝方法进行了比较。
Jun, 2024
当前研究中对图像分类任务进行的后期 CNN 剪枝技术的实证研究揭示了后期剪枝显著提高了模型的不确定性校准、性能和自然损坏鲁棒性，为安全和稳健的嵌入式 CNN 带来了希望。此外，剪枝不排斥不确定性校准和自然损坏鲁棒性，如通过后期非结构化剪枝的压缩增加的安全性方面的进一步改善所证明的。
May, 2024
通过自我降级的对比域自适应 (Sd-CDA) 诊断框架来处理不平衡数据下的域差异问题，首先通过基于模型剪枝的不平衡感知对比学习方法对特征提取器进行预训练，以自监督方式高效地学习特征表示；然后基于监督对比域对抗学习 (SupCon-DA) 强制将样本远离域边界，确保特征生成器生成的特征具有足够的区分性；此外，提出了剪枝对比域对抗学习 (PSupCon-DA)，自动关注少数类以增强对不平衡数据的性能；通过两个实验展示了所提方法的优越性。
May, 2024
本研究提出了一种针对 LLMs 的模型修剪技术，强调深度学习模型的可解释性，并通过互信息估计和调参来指导修剪过程。同时，还探讨了大规模模型和小规模模型的修剪差异，并展示了所提出模型相对于现有模型的优越性。
May, 2024
通过知识蒸馏和模型修剪的策略，我们提出了一种有效的方法来解决速度和准确性之间的权衡问题，并在边缘设备上实现了保持实时性能的同时提供高准确性的模型。
May, 2024
介绍了一种计算论证语义引擎（MQArgEng）和初步研究，评估引入计算论证语义对大型语言模型性能的影响。实验结果表明 MQArgEng 在大部分考察的主题类别中提供了适度的性能提升，呈现出潜力并值得进一步研究。
May, 2024
这项研究介绍了一种利用知情剪枝的自动联邦学习方法，名为 AutoFLIP，在本地客户端和全局服务器中动态剪枝和压缩深度学习模型。它利用联邦丧失探索阶段研究来自不同数据集和丧失的模型梯度行为，提供参数重要性的见解。我们的实验证明 AutoFLIP 在具有强非独立同分布数据的场景中有显著的改进，突出了它处理计算约束并实现更好的全局收敛能力。
May, 2024
在日益关注网络安全威胁的时代，针对后门攻击的防御对于确保机器学习模型的完整性和可靠性至关重要。然而，许多现有方法要求大量数据以进行有效的缓解，给实际部署带来了重大挑战。为解决这个问题，我们提出了一种将后门攻击缓解视为一项取消学习任务的新方法。我们通过有针对性的模型修剪策略来应对这一挑战，利用取消学习损失梯度来识别和消除模型中的后门元素。基于坚实的理论洞察，我们的方法简单有效，非常适合数据有限的场景。我们的方法包括制定合适的取消学习损失以及设计适用于卷积神经网络的模型修剪技术。综合评估结果表明，相对于最先进的方法，我们提出的方法在现实数据设置下表现出更高的有效性。
May, 2024