Jun, 2023

压缩、恢复和重新标记：新视角下的 ImageNet 规模数据集简化

PDF
TL;DRSRe$^2$L 是一种新的数据集压缩框架，可以在训练期间解耦模型和合成数据的双层优化，以处理各种规模的数据集、模型结构和图像分辨率，具有高分辨率训练、低训练成本和内存消耗，以及在任意评估网络结构下扩展的能力。
发现论文，激发创造
  • 揭示数据集精简的设计空间

    通过设计一个综合的框架，实现了软分类感知匹配和调整学习速率的策略，从而在小型和大型数据集压缩上建立了基准，显著提高了模型训练效率。

    Apr, 2024

  • 通过生成模型进行数据集简化

    将大型数据集通过生成模型进行压缩，通过内类和间类损失优化样本集合关系，提高优化速度和适应大型数据集的能力。

    Sep, 2023

  • 大数据时代的数据集精炼

    使用课程数据增强方法，在大规模的 ImageNet-1K 和 ImageNet-21K 数据集上实现了最佳准确度，并在准确度上超越了目前的最先进模型。

    Nov, 2023

  • 多尺度数据集精简

    本文提出多尺寸数据集精简（Multisize Dataset Condensation，MDC）方法，通过将 N 个精简过程压缩成一个过程，以获取具有多种尺寸的数据集，并引入 “自适应子集损失” 以减轻 “子集退化问题”。实验证实了 MDC 方法在 ConvNet、ResNet、DenseNet 等网络和 SVHN、CIFAR-10、CIFAR-100、ImageNet 等数据集上的效果。

    Mar, 2024

  • 一次压缩，仅需两个规则：精简数据集的修剪法则

    对于避免额外压缩过程具有计算禁止的情况，本文引入了 You Only Condense Once (YOCO) 与其它数据集压缩方法相比，在 CIFAR-10 数据集上取得了明显的准确度提升。

    Oct, 2023

  • 大型小批量 SGD 扩展：改进准确性和减少训练时间的 ImageNet-1K 上残差网络训练

    本文探讨了在 petaflop 级超级计算机上训练 ResNet-50 的挑战和新解决方案，最终展示了高达 90％的扩展效率和 28 分钟的训练时间。同时介绍了 Collapsed Ensemble (CE) 技术，使得在相同的固定训练预算下，使用未修改的 ResNet-50 拓扑结构可以获得高达 77.5％的准确率，类似于 ResNet-152。

    Nov, 2017

  • 深度图像超分辨率模型压缩

    本研究使用三阶段的工作流对深度超分辨率模型进行压缩，通过教师 - 学生知识蒸馏和新设计的蒸馏损失函数来保持恢复性能，以实现大幅降低模型大小和浮点运算量，同时保持与原始模型和其他常用超分辨率方法相媲美的竞争性超分辨率性能。

    Dec, 2023

  • 通过有效的合成数据参数化压缩数据集

    通过数据规则特征，提出一种生成多种合成数据的紧凑型训练数据的新型压缩框架，并开发出有效的优化技术，提高了训练数据信息的压缩质量。

    May, 2022

  • 闪电般的 ImageNet/ResNet-50 训练：大规模分布式 SGD

    使用批次大小控制和标签平滑来解决大批次训练不稳定性问题；使用 2D-Torus all-reduce 解决梯度同步过程中的开销，实现了在 ABC 集群上在 122 秒内训练 ImageNet/ResNet-50 且精度损失不显著的分布式深度学习技术.

    Nov, 2018

  • 自监督数据集压缩：压缩就是你所需的

    基于模型信息性对原始数据集预训练的压缩阶段进行自我监督压缩，并利用大型预训练模型的潜力，提出了 SC-DD 框架，相对传统的监督学习方案，它在数据压缩和恢复方面带来了更多信息的压缩和恢复能力，并在 CIFAR-100、Tiny-ImageNet 和 ImageNet-1K 数据集上表现出了显著的优越性。

    Apr, 2024