ACLOct, 2020

结构知识蒸馏：可行地蒸馏结构预测器的信息

PDF
TL;DR该文提出了一种可用于解决结构化预测问题的知识蒸馏目标函数的分解形式，该分解形式对于许多师生模型的典型选择是可处理的。具体而言，它展示了四种不同情况下序列标注和依赖解析模型之间的结构知识蒸馏的可处理性和实际有效性。
knowledge distillationstructured predictionoutput spacefactorized formsequence labeling
发现论文，激发创造
  • 高效子结构知识蒸馏

    该文提出了一种简单有效的方法，通过局部匹配所有子结构的预测结果而非整个输出空间，将知识从教师模型传递给其学生模型，较之现有方法在训练效率方面相对更高，并鼓励学生模型更好地模拟教师模型的内部行为。该方法在两个结构化预测任务上的实验表明，可以胜过先前的方法并且减少一个训练周期的时间成本。

    Mar, 2022

  • 稠密预测的结构化知识蒸馏

    该论文研究了如何将大型神经网络中的结构信息转移到紧凑型神经网络中，以用于计算机视觉中的密集预测任务，提出了从大型神经网络到紧凑型神经网络的结构蒸馏算法，并通过三个密集预测任务的实验展示了方法的有效性。

    Mar, 2019

  • 基于搜索的结构化预测知识蒸馏

    本文介绍了一种将多个模型组成的模型集合体及其概率输出 match 到参考状态和使用模型集合体探索搜索空间，通过实验表明，这种蒸馏（distillation）方式可以有效提高模型性能，比之前的模型都表现良好。

    May, 2018

  • 通过知识选择改进预训练语言模型的知识蒸馏

    本文提出了一种基于演员 - 评论家方法的知识蒸馏框架，旨在从教师模型中选择适当的知识来训练学生模型，实验结果表明该方法在 GLUE 数据集上优于常规基线模型。

    Feb, 2023

  • 知识回顾中的知识提炼

    本研究在知识蒸馏中不同于先前方法，提出了跨层连接路径的重要性，通过新的重审机制设计了嵌套紧凑的框架，极大地提高了学生网络的性能，在分类、目标检测和实例分割等任务中均获得了显著的成果。

    Apr, 2021

  • 知识蒸馏作为半参数推断

    使用半参数推断方法将知识蒸馏转换为目标学生模型、未知贝叶斯类概率和教师概率的 plug-in 估计值，引入交叉适应和损失校正两种方式来改善教师过度拟合和欠拟合对学生性能的影响，为标准蒸馏的预测误差提供了新的保证，并在表格式和图像数据上进行实证验证，观察到与知识蒸馏增强相关的一致改进。

    Apr, 2021

  • 多语言序列标注的结构级知识蒸馏

    该研究提出使用知识蒸馏减少多语言模型与单语言模型之间性能差距，实验结果显示我们的方法优于多个基准模型并具有更强的零次通用性。

    Apr, 2020

  • 知识蒸馏的有效性

    本研究评估了知识蒸馏的有效性以及它对学生和教师体系的依赖性。发现较精确的教师并不一定是好教师，且大型模型并不总是更好的教师，这导致了容器不匹配的问题，本研究表明教师的训练中止可以缓解这种效应，这些结果适用于各种数据集和模型。

    Oct, 2019

  • 学生大型语言模型是否能和老师一样表现出色？

    深度学习模型、知识蒸馏、软标签、温度缩放和模型性能在知识蒸馏中的关键决定因素及其潜力。

    Oct, 2023

  • 合作式知识蒸馏：一种学生无关的方法

    协作蒸馏（cooperative distillation）是一种新型的知识蒸馏方法，通过学生模型发现性能缺陷并寻找教师模型来产生反事实实例，提供了一种有效的方式传递知识，用于不同架构、算法及特征空间的学习者之间。该方法不仅在多个数据集上优于基线模型如迁移学习、自监督学习和多种知识蒸馏算法，还可以用于前述技术无法应用的情景。

    Feb, 2024