Feb, 2023

实用知识蒸馏：使用 DNNs 击败 DNNs

PDF
TL;DR该研究探索了用于表格数据集的数据处理方法，包括数据压缩、数据去噪和优化集成方法等，结果证明这些方法可以改进梯度提升模型和基于 DNN 架构的模型，并且在数据规模越小的情况下 DNN 模型表现越优越。
tabular datadistillationgradient-boostingdnn architectureensemble
发现论文，激发创造
  • 深度学习中集成、知识蒸馏和自蒸馏的理解

    探讨了深度学习模型集合如何提高测试准确率，以及如何使用知识蒸馏将集合的优越性能提取到单个模型中。并在此基础上，提出了一种新的理论，解释了在数据具有 “多视图” 结构的情况下，各自独立训练的神经网络集合确实可以明显提高测试准确率，而这种优越的效果也可以通过训练单个模型来匹配集合输出来证明，结果揭示了在深度学习中，集合模型以及 “黑暗知识” 是如何作用于知识蒸馏中的。最后，还证明了自身蒸馏也可以看作是隐式地组合集合模型和知识蒸馏以提高测试准确率。

    Dec, 2020

  • 神经网络知识蒸馏

    通过将一个 ensemble 中的知识压缩成单个模型的方法，我们可以显著提高基于 MNIST 数据集的模型性能并将这种方法应用于商业系统的声学模型，同时我们还提出了一种由专家模型和完整模型组成的新型 ensemble。

    Mar, 2015

  • 知识蒸馏提高深度神经网络的可解释性

    使用知识蒸馏技术将深度神经网络转换成决策树，以同时实现较好的性能和可解释性，并比基准决策树模型获得显著更高的精度，在 TensorFlow 平台上实现对大数据集的可扩展性。

    Dec, 2018

  • 知识蒸馏在小模型回归问题训练中的高效方法

    本文提出了一种用于回归问题的新的知识蒸馏形式，其中包括教师异常值拒绝损失函数和多任务网络等内容，并通过对多个数据集的评估表明，该方法可以提高准确性。

    Feb, 2020

  • 在线蒸馏实现的大规模分布式神经网络训练

    本文介绍了一种相对简单易用的基于在线蒸馏的神经网络训练优化方法，该方法使得我们能够在使用大规模数据集时提升模型精度并提高训练速度，同时在成本较低的情况下显著提高模型的预测可复现性。

    Apr, 2018

  • 知識蒸餾中的遺失

    深度神经网络通过知识蒸馏的模型压缩技术能够有效地在大型和小型模型之间实现信息转移，本研究通过实验探究了蒸馏过程对于信息损失的影响，并提出了一种优化配置方法。

    Nov, 2023

  • 高效学习排序的神经网络压缩模型

    本研究介绍了一种将蒸馏、修剪和快速矩阵乘法相结合的方法，对于从回归树集合中学习的神经网络进行了评分时间的加速，在两个公共学习排名数据集上进行的全面实验表明，采用我们的新方法产生的神经网络在效率 - 效用平衡的任何点上与基于树的集合竞争对手具有相同的排名质量，并提供高达 4 倍的评分时间加速，而不影响排名质量。

    Feb, 2022

  • 文本分类的数据精炼

    本研究提出了一种新的数据蒸馏方法，使用该方法在文本分类中将大型训练数据集压缩为更小的合成数据集，结果显示使用压缩后的数据集，在保持准确度的前提下只占原始数据集的 0.1%，获得了 90% 左右的性能。

    Apr, 2021

  • 量化 DNN 中的知识以解释分类任务中的知识蒸馏

    该论文提供了一种新的角度说明知识蒸馏的成功，即基于信息理论对 DNN 中间层编码的知识点进行量化，并通过分析 DNN 的特征表示来验证三个关于知识蒸馏的假设，包括编码了比从头开始学习更多的知识点，更可能同时学习不同的知识点以及一种更加稳定的优化方式。

    Aug, 2022

  • 通过知识蒸馏提高用于自然语言理解的多任务深度神经网络

    本文使用知识蒸馏方法对多任务深度神经网络进行优化，提供了解决集成大型神经网络问题的方法，并在 GLUE 基准测试中取得了显著的成果。

    Apr, 2019