Oct, 2022

通过知识蒸馏学习可推广的车辆路径问题模型

PDF
TL;DR本文提出了一种自适应多分布知识蒸馏（AMDKD）方案，通过利用来自多个已训练教师模型的知识来生成轻量级且更广义的学生模型，从而解决了现有神经方法在车辆路径问题上交叉分布泛化的问题，并展示了其优异的性能。
发现论文，激发创造
  • 自适应多教师多层级知识蒸馏

    我们提出了基于多教师多层知识蒸馏学习框架的自适应学习方法，该方法通过将每个教师与潜在表示相关联，自适应地学习实例级教师重要性权重，从而获取集成的高级知识，并通过多组提示策略从多个教师处汇集中间级知识。实验表明，该方法确保学生比强竞争者取得了更好的性能。

    Mar, 2021

  • 退火知识蒸馏

    本文介绍了一种名为 Annealing-KD 的改进型知识蒸馏方法，通过渐进式地提供教师模型提供的丰富信息来训练更小的学生模型，从而使得知识蒸馏方法在训练力度较大的学生模型时更有效。作者在不同的任务上进行了实验验证，包括图像分类和自然语言推理等。

    Apr, 2021

  • 针对自回归序列模型的广义知识蒸馏

    本论文提出了一种推广的知识蒸馏方法，旨在解决在训练和生成阶段输出序列之间的差异，并通过优化替代的发散方法来处理模型不充分的问题。实验证明，Generalized Knowledge Distillation (GKD) 在压缩生成语言模型时表现优异。

    Jun, 2023

  • 基于知识蒸馏的自主车辆规划中的可扩展高效交互感知

    结合知识蒸馏的优化，通过训练小型网络，提高了自动驾驶交互感知中的路径规划的速度和精确性。

    Apr, 2024

  • MixKD：大规模语言模型高效蒸馏

    提出了一种利用 Mixup 数据扩充技术的数据不可知蒸馏框架 MixKD，大幅度降低了一些实践性问题的影响，提升了大规模语言模型的泛化能力，实现了比标准 KD 培训更好的性能表现，能用于低资源平台上的应用。

    Nov, 2020

  • 通过内部数据知识蒸馏在去中心化学习中统一非独立同分布数据

    本文提出一种叫作 IDKD 的分布式学习方法，通过使用公共数据集而不会破坏隐私约束以实现数据分布的同质化，该方法在多个图形拓扑结构上实验证明可以达到比传统知识蒸馏更好的效果。

    Apr, 2023

  • MKD：一种预训练语言模型的多任务知识蒸馏方法

    本文提出了一种基于多任务学习的知识蒸馏方法，用于训练轻量级的预训练模型，该方法适用于不同的教师模型体系结构，并且相较于传统上基于 LSTM 的方法，具有更好的语言表达能力和更快的推理速度。

    Nov, 2019

  • 基于跨模型半监督学习的道路检测的知识蒸馏

    知识蒸馏和半监督学习方法相结合的半监督学习知识蒸馏（SSLKD）方法在道路分割应用中表现出显著的学生模型性能提升，超过传统半监督学习方法的效果。

    Feb, 2024

  • GKD: 一种大规模预训练语言模型的通用知识蒸馏框架

    提出 GKD 框架，支持在内存受限的 GPU 上使用各种蒸馏方法，以支持至少 100B 规模的 PLMs 的蒸馏，可在单个框架内轻松切换和组合不同的蒸馏方法。

    Jun, 2023

  • 轻量级自我知识蒸馏与多源信息融合

    提出了一种利用多源信息进行自知识蒸馏的轻量级框架，其中包括反向引导方法和形状正则化方法，其在各种数据集和模型上的综合实验中表现优于基线和最先进的自知识蒸馏方法，同时具有计算效率和鲁棒性。

    May, 2023