Oct, 2024

通过知识蒸馏进行数据集蒸馏：朝着高效的深度网络自监督预训练

HTML
PDF
TL;DR该研究解决了自监督预训练中缺乏有效数据集蒸馏的方法问题。研究者提出了一种新颖的方法，通过知识蒸馏的视角来训练学生模型，以匹配教师模型的表示，从而生成小型合成数据集。实验结果表明，该方法的合成数据集在下游任务上的准确率提高了最多13%。
发现论文，激发创造
  • 深度网络中的零样本知识蒸馏

    本文提出了零数据知识迁移的方法，通过自动生成Data Impressions从而实现了基于Teacher模型的知识迁移，不需要获取原始数据，具有实用性和良好的泛化能力。

    May, 2019

  • 知识蒸馏：综述

    该论文从知识分类、训练方案、教师-学生架构、蒸馏算法、性能比较和应用等方面全面调查了知识蒸馏。并简要回顾了知识蒸馏中的挑战，并探讨了未来的研究方向。

    Jun, 2020

  • 自我知识蒸馏与渐进式目标细化

    该文介绍了一种称为渐进式自我知识蒸馏的有效规则化方法，适用于任何具有硬目标的监督学习任务，可以提高模型的泛化性能和置信度预测，并取得了优于基准的实验结果。

    Jun, 2020

  • 自我监督学习中在线知识蒸馏

    本文提出了一种基于单阶段在线知识蒸馏的自我监督学习法Distill-on-the-Go (DoGo)，采用深度互联策略，通过对齐两个模型的相似度得分的softmax概率来提供更好的表征质量，实验结果表明，该方法在存在噪声和有限标签以及区分数据方面具有显著性能提升和泛化能力

    Apr, 2021

  • 生成、标注和学习：合成文本的自然语言处理

    该研究探讨了使用语言模型作为一种合成无标注文本的来源来进行自然语言处理，并提出了“生成、注释和学习（GAL）”的通用框架，通过对合成文本进行知识蒸馏、自训练和少样本学习应用来生成高质量特定任务文本，最终在多个应用中取得了显著的收益。

    Jun, 2021

  • 通过匹配训练轨迹进行数据集蒸馏

    本研究提供了一种新的算法，使用合成数据集优化网络，可以快速、高效地将神经网络训练到与真实数据相似的状态，从而实现数据集精简化处理，并能够处理高分辨率视觉数据。

    Mar, 2022

  • 数据蒸馏如同伏特加：多次蒸馏以提高质量

    通过使用逐步数据集提取方法，这篇研究论文提出了一种在训练期间使用多个合成子集来捕捉深度网络的训练动态，并在不增加训练时间的情况下显著改善现有数据集提取方法的性能，同时还首次实现了生成更大的合成数据集。

    Oct, 2023

  • 自监督数据集压缩：压缩就是你所需的

    基于模型信息性对原始数据集预训练的压缩阶段进行自我监督压缩，并利用大型预训练模型的潜力，提出了SC-DD框架，相对传统的监督学习方案，它在数据压缩和恢复方面带来了更多信息的压缩和恢复能力，并在CIFAR-100、Tiny-ImageNet和ImageNet-1K数据集上表现出了显著的优越性。

    Apr, 2024

  • 小规模无数据知识蒸馏

    通过使用小规模逆置数据进行知识蒸馏，提高训练效率的数据无关知识蒸馏(SSD-KD)方法在图像分类和语义分割基准测试中展示了超强的性能和高效的训练。

    Jun, 2024

  • 基于第一原则的数据集蒸馏：整合核心信息提取和有目的的学习

    本研究解决了数据集蒸馏（DD）理论支持不足的问题，提出了一种正式的DD模型，强调了在个别应用中针对特定推断任务的优化问题的必要性。通过系统分析现有DD方法的优缺点，我们展示了DD在医学数据分析与物理信息神经网络等领域的新应用，可能对新技术的发展产生深远影响。

    Sep, 2024