本文提出了一种数据集剪枝方法，利用预测不确定性和训练动态来生成一个信息量丰富的子集，从而用人口可承受的计算成本代替大规模数据集进行深度模型训练，实验结果表明该方法表现优于现有技术，对 ImageNet-1K 和 ImageNet-21K 数据集均获得了 75% 的无损压缩率。

Jun, 2023

本研究提出了一种基于动态数据修剪的方法，使用 EL2N 度量和初始微调阶段，在保持完整准确性的同时，可将数据量减少 50%~80% 以大大减少微调时间，并在 GLUE 基准测试和四个联合 NLU 数据集上展现出更好的时间 - 准确性平衡。

Jun, 2023

该研究提出了一种名为 TDDS（Temporal Dual-Depth Scoring）的新型数据集修剪方法，通过利用双深度策略，在综合考虑训练动态的同时，识别出代表性样本，从而解决了现有方法在数据集修剪中通常产生泛化性差的问题。通过在 CIFAR 和 ImageNet 数据集上的广泛实验表明，TDDS 方法在 CIFAR-100 数据集上仅利用 10% 的训练数据即可达到 54.51% 准确率，相比随机选择提高了 7.83%，比其他比较方法至少提高了 12.69%。

Nov, 2023

在这项工作中，我们旨在解决传输学习的数据集剪枝问题，即如何通过识别和删除冗余的训练样本，提高预训练效率并在下游目标任务中达到无损调优准确度。我们建立了统一的观点，将数据集剪枝与传输学习相结合，并发现现有的数据集剪枝方法不适用于传输学习范式。我们提出了两种新的数据集剪枝方法，即标签映射和特征映射，分别针对监督预训练和自我监督预训练设置，通过重新审视源 - 目标领域映射的视角重新定义了数据集剪枝问题。此外，我们还证明了我们的方法在许多传输学习任务上的有效性。我们展示了源数据类别可以剪枝达到 40% 至 80%，而不牺牲下游性能，在预训练阶段实现了显著的 2 至 5 倍加速。此外，我们的方法具有广泛的适用性，可以改进其他计算密集型的传输学习技术，例如对抗性预训练。

Oct, 2023

利用大规模网络数据集进行训练会消耗可观的计算资源，本文研究通过修剪大规模多模态数据集来提高训练效率，并通过筛选高质量数据集以降低训练成本，从而在 ImageNet 数据集上取得了更好的性能。

Jan, 2024

AdaPruner 是一种自适应数据集修剪框架，通过消除冗余的训练样本和减少计算和内存开销来提高模型性能和效率，可以在无需显式定义度量标准的情况下有效地修剪数据集并进行模型微调，展现了高可伸缩性和兼容性，并在修剪了训练数据的情况下显著提高了模型性能，同时节省了存储和计算成本。

Dec, 2023

本论文提出一种隐私保护的约束域泛化方法，通过在集中式服务端的信息聚合过程中应用新颖的梯度对齐损失，以期提高模型的泛化能力，将训练模型更好地泛化到 “未见过” 的但相关的医学图像

May, 2021

这篇文章主要介绍了在医学图像分割领域中，利用卷积神经网络进行高性能分割所需要的大量高质量标注数据的问题，并且探讨了如何解决数据集缺陷，包括有限的标注和不完美的标注问题。

Aug, 2019

通过利用现有数据的局部或稀疏标注分割标签，我们开发了一种成本效益方法来解决与来自不同来源的数据的标签歧义、模态、数据集和分割标签的不平衡相关的挑战，实验结果表明，我们的方法在腹部器官分割的多模态数据集上表现出卓越的性能，凸显出优化现有标注数据使用和减少新数据标注工作以进一步增强模型能力的潜力。

Nov, 2023

通过基于损失值的度量对训练数据进行精心选择，可以改进图像超分辨率模型，挑战更多数据必然导致更好性能的传统观念。

Mar, 2024