Jun, 2024

MAGIC：元能力引导下的有效高效视觉语言导航链式蒸馏

PDF
TL;DR这篇论文介绍了使用知识蒸馏来获得轻量级学生模型的巨大潜力，其中提出了一种元能力引导的交互式蒸馏链（MAGIC）方法，该方法可帮助将大型模型集成到机器人技术中，该方法在视听导航任务中超越了现有的先前方法，同时提出了一种新的数据集，展示了 MAGIC-S 模型在我们的生活环境中超越的性能和实时效率。
发现论文，激发创造
  • 元知识蒸馏

    本文提出了一种元知识蒸馏（MKD）方法，利用可学习的元温度参数进行元学习，通过适应学习目标的梯度自适应地调整元参数以解决知识蒸馏（KD）的退化问题，从而在不同数据集规模、不同网络和不同数据扩增类型上实现了与当下最优秀方法相当的性能表现。

    Feb, 2022

  • MAGDi: 多智能体交互图的结构化蒸馏提升较小语言模型的推理能力

    通过多个大型语言模型之间的多智能体交互，结构化蒸馏途径（MAGDi）通过将多智能体交互表示为图形、通过图形编码器增强基础学生模型，并使用三个目标函数进行知识蒸馏，即下一个标记预测、正确和错误推理之间的对比损失以及基于图形的目标函数。对七个广泛使用的常识和数学推理基准进行的实验证明，MAGDi 提高了较小模型的推理能力，表现优于从单个教师和多个教师进行蒸馏的几种方法。此外，MAGDi 还比其教师高出数量级的效率。我们进行了广泛的分析，显示 MAGDi（1）增强了对域外任务的泛化能力，（2）与基础学生模型的大小和强度正相关，（3）在应用自一致性的多教师训练方面取得了更大的改进，后者是一种依赖于模型多样性的推理技术。

    Feb, 2024

  • Meta-KD: 跨领域语言模型压缩的元知识蒸馏框架

    利用领域间的可转移知识，我们提出了一种元知识蒸馏 (Meta-KD) 框架，将初始的深度预训练模型压缩为体积更小的单域学生模型，并在多个 NLP 任务上进行了实验验证。

    Dec, 2020

  • MixKD：大规模语言模型高效蒸馏

    提出了一种利用 Mixup 数据扩充技术的数据不可知蒸馏框架 MixKD，大幅度降低了一些实践性问题的影响，提升了大规模语言模型的泛化能力，实现了比标准 KD 培训更好的性能表现，能用于低资源平台上的应用。

    Nov, 2020

  • 神经语言模型的一致性蒸馏架构

    本研究探讨了一种 Knowledge Distillation 的新方法，即从神经网络和词汇知识库中提取语言信息，以提供大规模模型的高效替代方案，并提出了两种基于多个 teacher networks 预测权重的技术以及一种用于词义消歧的方法，并发现使用本文中的词汇预训练方法可在不增加参数的情况下提高自然语言理解任务 (NLU) 的性能，同时在 Plagiarism Detection 方面也有了更好的表现。

    Jan, 2023

  • 从视觉语言模型中提炼，以改善视觉任务中的 OOD 泛化能力

    Vision-Language to Vision-Align, Distill, Predict (VL2V-ADiP) is a proposed approach that aligns vision and language modalities to distill pre-trained features and superior generalization for state-of-the-art results in Domain Generalization using Vision-Language Models like CLIP.

    Oct, 2023

  • M2KD: 多模型、多层次知识蒸馏用于增量学习

    本文提出一种多模型和多级别知识蒸馏策略，通过直接利用之前的模型快照和辅助蒸馏等方式，在保留旧类知识的同时提升整体性能，有效解决了旧类性能下降的问题。

    Apr, 2019

  • 学习最大化互信息用于思路链提炼

    利用连续思维蒸馏的知识蒸馏技术，通过多任务学习框架，最大化两个训练任务的特征表示的互信息，提出一种变分方法来优化小型模型的推理能力和标签预测的整合性，并在四个数据集上超越先进的 DSS 方法，为语言模型蒸馏和连续思维相关应用的未来研究提供有益指导。

    Mar, 2024

  • MEND: 元演示蒸馏用于高效有效的上下文学习

    通过元知识蒸馏，Meta dEmonstratioN Distillation (MEND) 实现了对大型语言模型的演示的压缩，从而提高了其效率和可扩展性。

    Mar, 2024

  • m2mKD：Modular Transformers 的模块到模块知识蒸馏

    我们提出了一种模块到模块的知识迁移方法（m2mKD），通过将具有共享元模型的教师模块和学生模块相结合，鼓励学生模块模仿教师模块的行为。在两种不同的模块化神经架构：神经注意电路（NACs）和视觉专家混合（V-MoE）上应用 m2mKD，我们获得了显着改进的分类准确率和鲁棒性。实验结果表明，我们的方法为将模块化网络与预训练的整体模型相连接提供了一种有希望的解决方案。

    Feb, 2024