适应性师生协同：基于文本条件扩散模型的学生优于预期

Dec, 2023

适应性师生协同：基于文本条件扩散模型的学生优于预期

Your Student is Better Than Expected: Adaptive Teacher-Student Collaboration for Text-Conditional Diffusion Models

Nikita Starodubcev, Artem Fedorov, Artem Babenko, Dmitry Baranchuk

TL;DR学生样本在质量上优于教师样本，提出了一种基于知识蒸馏的自适应协作方法，以在文本到图像合成中实现更好的效果。

Abstract

knowledge distillation methods have recently shown to be a promising direction to speedup the synthesis of large-scale diffusion models by requiring only a few inference steps. While several powerful distillation

knowledge distillation large-scale diffusion models student samples text-to-image synthesis adaptive collaboration

发现论文，激发创造

MixedTeacher：用于快速推理纹理异常检测的知识蒸馏

本文提出了一种基于知识蒸馏的新方法，在正常样本上训练一个网络（学生），同时考虑预训练网络的输出（教师），并结合两位教师提出了新的学生 - 教师体系结构，用于联合增强异常检测和其定位精度。提出的纹理异常检测器能够检测任何纹理中的缺陷，并具有比 SOTA 方法更快的推理时间。

Jun, 2023

强化多教师选择的知识蒸馏

本文研究了一种改进模型压缩方法，通过强化学习动态调整知识蒸馏中教师模型的权重，从而提高了学生模型性能，适用于自然语言处理任务。

Dec, 2020

即插即用扩散蒸馏

我们提出了一种新的蒸馏方法，可以减少迭代计算过程中无需分类器指导的扩散模型的推理计算时间，并且只需要基础模型的 1％的可训练参数，同时还能维持生成图像的视觉逼真度。

Jun, 2024

针对知识蒸馏的学生友好型教师网络学习

本文提出一种新颖的知识蒸馏方法，该方法旨在学习对学生友好的教师模型以实现知识传递，并在多个知识蒸馏技术中展示出卓越的准确性和收敛速度。

Feb, 2021

依据学生的学习水平定制指导方案提升知识蒸馏

本文提出了一种名为 LGTM 的有效教师培训技术，该技术通过引入蒸馏影响概念来确定每个训练样本对学生泛化能力的影响，通过优先选择可能增强学生泛化能力的样本，在 GLUE 基准测试数据集的 6 项文本分类任务中，LGTM 比其他 10 种常见的知识蒸馏基线表现更好。

May, 2023

条件扩散蒸馏

通过图像条件实现的一种新颖的有条件蒸馏方法，将扩散模型的先验知识与图像条件相结合，大大简化了以往两阶段的蒸馏过程，并通过少量的额外参数和冻结的无条件主干网络实现了一种新的高效蒸馏机制，实验结果表明，该方法在多个任务上的表现优于现有的人工蒸馏技术，并且是第一个能够与更慢的精细调优有条件扩散模型相匹配的蒸馏策略。

Oct, 2023

知识扩散用于蒸馏

本论文提出了一种名为 DiffKD 的新型知识蒸馏方法，其基于扩散模型显式去噪和匹配特征，以更好地实现精简干净特征和教师特征的蒸馏。在图像分类、对象检测和语义分割任务中，DiffKD 在各种特征类型上均取得了最先进的性能。

May, 2023

来自更强大教师的知识蒸馏

本文介绍了一种名为 DIST 的方法，它可以更好地从一个更强的教师模型中进行知识蒸馏，通过保留教师和学生之间的预测关系，提出了基于相关损失的方法，从而实现了最先进的性能。

May, 2022

SoTeacher: 面向学生的教师网络训练框架用于知识蒸馏

提出一种基于学生的教师网络训练框架 SoTeacher，通过引入 Lipschitz 正则化和一致性正则化改善知识蒸馏算法中教师网络的训练方法，实验证明该方法适用于几乎所有的教师 - 学生架构对，并且可以显著、一致地提高学生的性能。

Jun, 2022

学生大型语言模型是否能和老师一样表现出色？

深度学习模型、知识蒸馏、软标签、温度缩放和模型性能在知识蒸馏中的关键决定因素及其潜力。

Oct, 2023