Nov, 2015

统一蒸馏与特权信息

PDF
TL;DR本文介绍了一种被称为 generalized distillation 的机器学习框架，它将蒸馏和特权信息这两种技术统一起来，可以让机器从其他机器中学习，本文从理论和实践上探讨了该框架的内部机制，并将其扩展到无监督、半监督和多任务学习场景中，通过在合成和真实世界数据的各种数字模拟实验中对其有效性进行了论证。
distillationprivileged informationmachinesframeworklearning
发现论文，激发创造
  • 蒸馏为什么有用：一个统计学的视角

    本论文从统计角度阐述了知识蒸馏的原理，即让一个简单的 “学生” 模型依据一个复杂的 “教师” 模型得到的标签概率分布进行训练，从而提高性能，并提出了一种新颖的与极端多分类检索技术相关的方法。

    May, 2020

  • 数据蒸馏：走向全监督学习

    通过数据精炼方法，利用所有可用的标记数据和互联网规模的未标记数据，从而超过单纯使用有标记数据的最新颖全监督式监督学习方法。

    Dec, 2017

  • 数据聚类的特权信息

    本文研究了 Vapnik 的主人公学习理念及其在无监督学习中使用的相关学习。通过提出的 aRi-MAX 方法，KMeans 算法的稳定性得到了改善，并在人工数据集上实现了最佳聚类解的识别。随后，提出了一种基于信息论点积的算法 P-Dot，能够利用各种聚类技巧，单独或组合使用，以融合特权数据和技术数据，以提高聚类效果。文中通过对数字识别任务的应用验证了这些方法在实际情况下的适用性。

    May, 2013

  • 大规模生成无数据蒸馏

    提出了一种新的方法，通过利用训练教师网络内在归一化层的统计信息来训练生成图像模型，从而在没有训练数据的情况下实现知识迁移、模型压缩和半监督学习，该方法在 CIFAR-10 和 CIFAR-100 数据集上表现出色，并能够将其扩展到 ImageNet 数据集。

    Dec, 2020

  • 改进数据集精炼的跨架构泛化

    使用模型池方法进行数据蒸馏，结合知识蒸馏技术进行测试，从而创造出小规模合成数据集，在性能上表现优于现有方法。

    Feb, 2024

  • 模型蒸馏理论探索

    蒸馏是用一个简化的模型替代复杂的机器学习模型的任务，该论文提出了蒸馏的一般理论，并应用该理论提出了新算法，可以高效地从训练好的神经网络中提取知识，将其蒸馏为简洁明确的决策树表示，并证明了蒸馏相比从头学习更廉价且复杂度有所减少。

    Mar, 2024

  • 探索基于样本原型的软标签数据蒸馏对不平衡数据分类的潜力

    该研究以实际数据集为基础，探索一种简单的数据精炼技术在原型软标签精炼中的潜力，通过集成优化步骤以提高分类准确性，并对不平衡度不同的数据集进行实验验证，发现该方法在数据精炼和数据增强方面的能力。

    Mar, 2024

  • 数据集蒸馏学习是什么？

    数据集精炼是一种克服大数据集困难的策略，通过学习一组保留原始数据集关键信息的紧凑合成数据。研究中探讨了关于精炼数据的行为、代表性和逐点信息内容的三个问题，揭示了精炼数据不能在数据集精炼标准评估环境之外用于训练，但能通过压缩真实模型早期训练动态相关信息来保持高任务性能。解释了精炼数据的框架和揭示了个体精炼数据点包含有意义的语义信息，从而更好地理解了精炼数据的复杂性及其有效利用。

    Jun, 2024

  • 提炼归纳偏见：超越模型压缩的知识蒸馏

    通过集成式蒸馏方法从轻量级教师模型中蒸馏归纳偏差，我们介绍了一种创新的蒸馏方法，以支持视觉转换和文本领域之间的统一信息处理，提高了学生性能，并减轻了计算负担和提高了效率。

    Sep, 2023

  • 数据集精简遇见可证明的子集选择

    本文提出了一种在数据集精馏中初始化样品集的可证明的基于采样的方法，并将数据子集选择的思想与数据集精馏相结合，通过相对贡献的实例的概念优化性能。

    Jul, 2023