Dec, 2023

通过实证研究提升数据集蒸馏的跨架构泛化能力

PDF
TL;DR通过实证研究，本文提出了一种新颖的评估方法 ELF，通过利用蒸馏模型的中间层特征进行跨架构评估，从无偏重的知识中学习，以提高当前 DD 方法的跨架构泛化能力。
dataset distillationinductive biasevaluation modelelfcross-architecture generalization
发现论文，激发创造
  • 改进数据集精炼的跨架构泛化

    使用模型池方法进行数据蒸馏，结合知识蒸馏技术进行测试，从而创造出小规模合成数据集，在性能上表现优于现有方法。

    Feb, 2024

  • 降低数据集蒸馏中的架构过拟合

    通过提出一系列的方法，本文解决了基于特定网络结构训练的合成训练数据在其他网络结构中训练时性能变差的问题，从而提高了在不同网络结构上通过合成训练数据的泛化性能。通过广泛的实验证明了我们的方法的有效性和通用性。

    Sep, 2023

  • 通过深度生成先验的数据集蒸馏泛化

    Dataset Distillation technique using learned prior of deep generative models and a new optimization algorithm improves cross-architecture generalization by synthesizing few synthetic images from a large dataset.

    May, 2023

  • 探索多语言文本数据蒸馏

    通过使用基于语言模型的学习方法，我们在多语言文本分类数据集上提出了几种数据蒸馏技术，来增强文本数据蒸馏领域中的跨体系结构泛化能力，并分析了它们在分类强度和跨体系结构泛化方面的性能，也研究了这些方法生成的数据摘要的语言特定公平性。

    Aug, 2023

  • 长尾识别中有效的协作学习

    该论文研究类别不平衡问题，提出基于比较两个分类器预测结果的重新加权蒸馏损失，以改善专家之间的知识转移不平衡问题，并结合对比代理任务支路实现特征质量的进一步提升，实验表明所构建模型达到了最优性能。

    May, 2023

  • 利用样本间和特征间的关系进行数据集蒸馏

    通过使用类居中约束和协方差匹配约束，提出的数据集精馏方法在解决分散特征分布和精确特征分布匹配两个主要限制方面表现出色，与相关方法相比，在 CIFAR10、SVHN、CIFAR100 和 TinyImageNet 上的性能提升分别达到最大为 6.6%、2.9%、2.5% 和 2.5%，并且在四个体系结构上保持稳定表现，最大性能降低为 1.7%。

    Mar, 2024

  • 课程数据蒸馏

    本论文提出了一个基于课程设置的数据集蒸馏框架，通过将从简单到复杂的课程进行逐步蒸馏，合理处理合成图像的生成和评估，进一步利用对抗优化改进图像的代表性，提高其在不同神经网络体系结构下的泛化能力和抗噪性，实现了大规模数据集蒸馏的新突破。

    May, 2024

  • 通过蒸馏法获得推广界限

    该论文从理论上研究了高复杂度网络的蒸馏问题，并使用了数据增强来展示它的好的泛化性，并配合计算图缩减技术和实验来证明它具有实际应用价值。

    Apr, 2021

  • 数据蒸馏如同伏特加：多次蒸馏以提高质量

    通过使用逐步数据集提取方法，这篇研究论文提出了一种在训练期间使用多个合成子集来捕捉深度网络的训练动态，并在不增加训练时间的情况下显著改善现有数据集提取方法的性能，同时还首次实现了生成更大的合成数据集。

    Oct, 2023

  • 生成式数据集精炼：平衡全局结构与局部细节

    本文提出了一种新的数据集蒸馏方法，该方法在将大型数据集蒸馏为生成模型时考虑了全局结构和局部细节的平衡。

    Apr, 2024