本文研究：剪枝是否可靠地提升模型的泛化能力。我们发现现有剪枝方法像 L2 已经可以在目标域性能上提供小的改进。我们进一步提出了一种被称为 DSS 的新的剪枝评分方法，旨在直接提高模型的鲁棒性。通过实证实验，我们验证了我们的方法，并表明它可以与最先进的泛化工作（如 MIRO）相结合，进一步提高性能。在 MNIST 到 MNIST-M 上，我们可以通过将 60％通道稀疏引入模型来提高基线性能 5 个点以上。在 DomainBed 基准和最先进的 MIRO 上，我们只需将 10％稀疏引入模型即可进一步提高其性能。

Jun, 2023

本文提出了一种通过渐进修剪实现的新颖的领域适应方法 Prune-Tune，用于小样本下的神经机器翻译领域，这种方法可以在不修改模型的情况下减轻过拟合和退化问题。

Dec, 2020

现代深度神经网络中，网络压缩已成为一项重要研究方向。本文通过综述现有文献，详细介绍了深度神经网络剪枝的研究方法、剪枝的不同层次以及未来发展方向，并提出了有价值的推荐建议。

Aug, 2023

利用精炼数据来修剪深度学习模型的新方法，通过捕捉精髓模式并利用其能力实现资源高效的神经网络修剪、模型压缩和神经架构搜索。

Jul, 2023

通过剪枝模型，我们能够在具有多个领域的测试环境中处理更少的参数和更低的计算复杂度，从而更好地适应资源受限的设备。

Sep, 2023

通过将图像表示分为两个子空间：一个是每个领域的私有特征，一个是跨领域共享的特征，我们开发的一种新型架构不仅可以让模型在源领域中执行任务，还可以用于重构来自两个领域的图像。该架构不仅在一系列无监督领域适应场景中优于现有技术水平，还能输出私有和共享表示的可视化结果，从而能够解释领域适应过程。

Aug, 2016

本文研究了基于神经架构搜索（NAS）的自动机器学习（AutoML）在计算机视觉以外的任务上的应用，作者提出了一种名为 DASH 的不同 iable NAS 算法，用于搜索卷积神经网络（CNN）的卷积核，实现了在多种应用领域上最先进的自动化性能。

Apr, 2022

通过开发一种在神经网络随机初始化时具有理想特性的彩票中隐藏并发掘出触及四项挑战性任务的采用最先进剪枝方法的框架，我们发现算法的限制基本上是算法性质的。

Nov, 2021

在一些领域（如医学数据）中，有大量的标注数据对于深度神经网络的效果至关重要。为了明智地选择待标注的数据（即子集选择问题），我们研究了子集选择和神经网络剪枝之间的关系，并建立了它们之间的联系。借鉴了神经网络剪枝的见解，我们提出了利用神经网络特征的范数准则来改进子集选择方法。我们在各种网络和数据集上进行了实证验证，证明了准确度的提高。这表明利用剪枝工具进行子集选择的潜力。

Jun, 2024

在数据密集型模型的时代，精心选择训练数据对于减轻深度学习的昂贵成本至关重要。本文通过删除冗余或无信息的样本来解决这个问题，并提出了一个公平感知的修剪方法，其在标准计算机视觉基准上展示了良好的性能，与现有算法形成鲜明对比。

Apr, 2024