数据精简框架：提升模型性能和效率的端到端自适应数据精简

Dec, 2023

数据精简框架：提升模型性能和效率的端到端自适应数据精简

Not All Data Matters: An End-to-End Adaptive Dataset Pruning Framework for Enhancing Model Performance and Efficiency

Suorong Yang, Hongchao Yang, Suhan Guo, Furao Shen, Jian Zhao

TL;DRAdaPruner 是一种自适应数据集修剪框架，通过消除冗余的训练样本和减少计算和内存开销来提高模型性能和效率，可以在无需显式定义度量标准的情况下有效地修剪数据集并进行模型微调，展现了高可伸缩性和兼容性，并在修剪了训练数据的情况下显著提高了模型性能，同时节省了存储和计算成本。

Abstract

While deep neural networks have demonstrated remarkable performance across various tasks, they typically require massive training data. Due to the presence of redundancies and biases in real-world datasets, not a

deep neural networks dataset pruning adapruner model performance training data

发现论文，激发创造

越少越好：数据修剪加速对抗训练

提出基于数据修剪的针对深度神经网络的对抗训练，通过减少数据层面的冗余来提高计算效率，实现和未修剪模型相似或更高的鲁棒性和准确性。

Feb, 2023

选择性推动生产力：提高迁移学习效率的高效数据集修剪

在这项工作中，我们旨在解决传输学习的数据集剪枝问题，即如何通过识别和删除冗余的训练样本，提高预训练效率并在下游目标任务中达到无损调优准确度。我们建立了统一的观点，将数据集剪枝与传输学习相结合，并发现现有的数据集剪枝方法不适用于传输学习范式。我们提出了两种新的数据集剪枝方法，即标签映射和特征映射，分别针对监督预训练和自我监督预训练设置，通过重新审视源 - 目标领域映射的视角重新定义了数据集剪枝问题。此外，我们还证明了我们的方法在许多传输学习任务上的有效性。我们展示了源数据类别可以剪枝达到 40% 至 80%，而不牺牲下游性能，在预训练阶段实现了显著的 2 至 5 倍加速。此外，我们的方法具有广泛的适用性，可以改进其他计算密集型的传输学习技术，例如对抗性预训练。

Oct, 2023

强健数据修剪：揭示和克服隐性偏见

在数据密集型模型的时代，精心选择训练数据对于减轻深度学习的昂贵成本至关重要。本文通过删除冗余或无信息的样本来解决这个问题，并提出了一个公平感知的修剪方法，其在标准计算机视觉基准上展示了良好的性能，与现有算法形成鲜明对比。

Apr, 2024

通过数据重要性外推在对抗训练中进行大规模数据集剪枝

基于从小数据集外推数据重要性分数的数据修剪策略，在保持鲁棒性的同时有效地减小数据集大小。

Jun, 2024

自适应锐度感知剪枝用于稳健稀疏网络

应用自适应权重扰动和稳定正则的 AdaSAP 方法对深度学习模型进行剪枝，实现了具有鲁棒性的稀疏网络，该方法在分类和物体检测任务上表现出较高的准确性。

Jun, 2023

基于自适应激活的结构化剪枝

本文提出了一种自适应基于激活的结构化裁剪方法，以自动高效地生成满足用户要求的小型、准确和硬件高效的模型，它提出了迭代性结构化裁剪和自适应剪枝策略，可在不降低精度的情况下大幅减少参数和 FLOPs

Jan, 2022

动态不确定性下的大规模数据集修剪

本文提出了一种数据集剪枝方法，利用预测不确定性和训练动态来生成一个信息量丰富的子集，从而用人口可承受的计算成本代替大规模数据集进行深度模型训练，实验结果表明该方法表现优于现有技术，对 ImageNet-1K 和 ImageNet-21K 数据集均获得了 75% 的无损压缩率。

Jun, 2023

PDP: 无需参数的可导修剪就是你所需的

提出一种高效、有效的训练时裁剪方案 ——Parameter-free Differentiable Pruning（PDP），可适用于各种视觉和自然语言任务，支持无结构裁剪约束，基于训练时动态权重函数生成软裁剪掩码并得到最新的模型大小、精确度和培训成本。

May, 2023

参数高效的 Diff 剪枝用于偏差缓解

介绍了一种模块化的架构，应用 DiffPruning 和对抗训练技术在保持语言模型存储效率的同时，减少预设受保护属性对推理结果的影响。

May, 2022

Play and Prune: 适应性滤波剪枝用于深度模型压缩

本文提出了基于最小 - 最大框架的卷积神经网络滤波器级别剪枝方法，该方法同时对 CNN 模型参数进行剪枝和微调，具有自适应剪枝率和可直接指定误差容限等特点，在不损失准确性的情况下，有效减少了 VGG-16 的参数数量和 FLOPS。

May, 2019