Nov, 2023

跨训练进度：时态双层深度评分（TDDS）用于增强数据集修剪

PDF
TL;DR该研究提出了一种名为 TDDS（Temporal Dual-Depth Scoring）的新型数据集修剪方法，通过利用双深度策略，在综合考虑训练动态的同时，识别出代表性样本，从而解决了现有方法在数据集修剪中通常产生泛化性差的问题。通过在 CIFAR 和 ImageNet 数据集上的广泛实验表明，TDDS 方法在 CIFAR-100 数据集上仅利用 10% 的训练数据即可达到 54.51% 准确率，相比随机选择提高了 7.83%，比其他比较方法至少提高了 12.69%。
发现论文，激发创造
  • 以数据为中心的饮食：针对医学图像分割的有效多中心数据集剪枝

    本文研究了稠密标记问题，提出了一种数据修剪方法，通过考虑目标区域上的训练动态使用动态平均 Dice（DAD）得分，确定了医学图像分割中选择重要示例的简单而强大的基准方法。

    Aug, 2023

  • 动态不确定性下的大规模数据集修剪

    本文提出了一种数据集剪枝方法，利用预测不确定性和训练动态来生成一个信息量丰富的子集，从而用人口可承受的计算成本代替大规模数据集进行深度模型训练，实验结果表明该方法表现优于现有技术，对 ImageNet-1K 和 ImageNet-21K 数据集均获得了 75% 的无损压缩率。

    Jun, 2023

  • 选择性推动生产力：提高迁移学习效率的高效数据集修剪

    在这项工作中，我们旨在解决传输学习的数据集剪枝问题，即如何通过识别和删除冗余的训练样本，提高预训练效率并在下游目标任务中达到无损调优准确度。我们建立了统一的观点，将数据集剪枝与传输学习相结合，并发现现有的数据集剪枝方法不适用于传输学习范式。我们提出了两种新的数据集剪枝方法，即标签映射和特征映射，分别针对监督预训练和自我监督预训练设置，通过重新审视源 - 目标领域映射的视角重新定义了数据集剪枝问题。此外，我们还证明了我们的方法在许多传输学习任务上的有效性。我们展示了源数据类别可以剪枝达到 40% 至 80%，而不牺牲下游性能，在预训练阶段实现了显著的 2 至 5 倍加速。此外，我们的方法具有广泛的适用性，可以改进其他计算密集型的传输学习技术，例如对抗性预训练。

    Oct, 2023

  • D2 剪枝：数据剪枝中的信息传递平衡多样性和难度

    通过使用 D2 修剪算法，将数据集表示为无向图，并进行前向和反向消息传递，综合考虑数据的多样性和难度评分来选择 Coreset，该方法在多个视觉和语言数据集上超越了现有最先进方法的 Coreset 选择效果，对于剪枝率高达 70%，使用 D2 修剪算法来过滤大型多模态数据集可以增加数据集的多样性并改善预训练模型的一般化能力。

    Oct, 2023

  • 数据精简框架：提升模型性能和效率的端到端自适应数据精简

    AdaPruner 是一种自适应数据集修剪框架，通过消除冗余的训练样本和减少计算和内存开销来提高模型性能和效率，可以在无需显式定义度量标准的情况下有效地修剪数据集并进行模型微调，展现了高可伸缩性和兼容性，并在修剪了训练数据的情况下显著提高了模型性能，同时节省了存储和计算成本。

    Dec, 2023

  • 剪枝以实现更好的领域通用性

    本文研究：剪枝是否可靠地提升模型的泛化能力。我们发现现有剪枝方法像 L2 已经可以在目标域性能上提供小的改进。我们进一步提出了一种被称为 DSS 的新的剪枝评分方法，旨在直接提高模型的鲁棒性。通过实证实验，我们验证了我们的方法，并表明它可以与最先进的泛化工作（如 MIRO）相结合，进一步提高性能。在 MNIST 到 MNIST-M 上，我们可以通过将 60％通道稀疏引入模型来提高基线性能 5 个点以上。在 DomainBed 基准和最先进的 MIRO 上，我们只需将 10％稀疏引入模型即可进一步提高其性能。

    Jun, 2023

  • 关键学习时期：利用早期训练动态进行高效数据修剪

    我们提出了一种新的数据修剪技术：Checkpoints Across Time (CAT)，通过利用早期模型训练动态来识别对模型性能最相关的数据点，实现了在减少 50% 的训练数据的同时，与使用完整数据集的性能相当，且优于其他数据修剪技术。

    May, 2024

  • 图像超分辨率数据集修剪研究

    通过基于损失值的度量对训练数据进行精心选择，可以改进图像超分辨率模型，挑战更多数据必然导致更好性能的传统观念。

    Mar, 2024

  • DRIVE: 双梯度快速迭代剪枝

    现代深度神经网络 (DNNs) 由数百万个参数组成，在训练和推断过程中需要高性能计算。修剪是一个显著减少 DNNs 空间和时间复杂度的解决方案。

    Apr, 2024

  • Veritatem Dies Aperit- 一种基于多任务几何和语义场景理解的时域一致深度预测方法

    本文提出了一种基于多任务学习的方法，能够联合进行几何和语义场景理解，包括单眼深度估计、深度补全和语义场景分割，通过一个时间上连续受限的循环网络，利用一系列复杂的跳跃连接、对抗性训练和顺序帧重复的时间限制同时产生一致的深度和语义类标签，大量实验评估表明相比其他当代最先进的技术，本方法的有效性。

    Mar, 2019