- ICMLEM-Network: 序列学习的 Oracle 辅助自蒸馏技术
EM-Network 是一种新的自蒸馏方法，可通过目标信息进行监督式序列到序列学习，具有比仅使用源输入更好的预测，可用于语音识别和机器翻译等领域。
- EMNLP自监督元学习用于知识图谱补全的自蒸馏
本文提出了一种自我蒸馏框架，使用元学习 (MetaSD) 和动态修剪来完成知识图谱的处理，旨在学习压缩的图形嵌入，并解决长尾样本问题。在实验中 MetaSD 表现出与强基线的竞争性表现，同时比基线小 10 倍。
- 跨模态掩码自蒸馏用于指代图像分割的 CM-MaskSD
本文提出了一种名为 CM-MaskSD 的跨模态掩膜自学习框架，利用被称为 CLIP 模型的知识实现了精细的图像 - 文本对齐，并引入少量参数协调多模态特征，使其在三个基准数据集上优于现有方法，实现了对指定图像中物体的分割。
- DinoSR：基于自蒸馏和在线聚类的自监督语音表示学习
本研究介绍 DinoSR，一种使用自我蒸馏和在线聚类的自监督语音表示学习方法，其中结合了掩码语言建模，自我蒸馏和在线聚类，实验表明这些概念互补，并形成了语音强表示学习模型。
- 多渠道的自律
本文提出 SMC-2 方法，结合了一致性正则化和自我蒸馏概念，旨在改善模型的泛化能力和对噪声标签的鲁棒性，实验证明在各种模型上表现优异，并能减轻标签噪音干扰导致的泛化能力下降问题。
- 贝叶斯优化遇上自蒸馏
BOSS 框架结合 Bayesian optimization 和 Self-Distillation 方法，通过利用先前任务的预训练模型和观察结果，显著提高了各种任务的性能表现。
- SATA: 源锚定和目标对齐网络用于连续测试时间自适应
本文提出一种基于在线自适应的新框架 SATA，它可以无缝地适应不同的批处理大小，同时通过使用源锚定的自蒸馏来修改批归一化的仿射参数，来确保模型具有不遗忘以前经历的领域知识的能力。同时，提出基于源原型驱动的对比对齐方法，以确保目标样本的自然分 - 使用预先训练模型探索深层图像聚类的极限
本篇论文讲述了一种基于预训练特征提取器，通过自蒸馏训练聚类头来学习无标签图像分类的通用方法，并介绍了一种新的目标函数，利用一种变体的点间互信息和实例加权来学习图像之间的关联，以提高聚类准确性。最终使用自监督预训练视觉 Transformer - CVPR测试时间自适应的特征对齐和统一性
该研究探讨了测试时间自适应的方法，使用特征修正、自我蒸馏以及空间本地化聚类等技术，提高了医学图像分割任务的性能，进一步提高了现有测试时间适应方法的性能表现。
- 通过自蒸馏改进可微分架构搜索
本篇论文提出了一种基于自蒸馏不同的神经网络结构搜索方法，通过投票教师的方式引导折叠网络的训练，并且与现有最先进的神经网络结构搜索方法相比，实验结果表明了它的优越性。
- 在标签噪声存在的情况下理解自蒸馏
研究了在带有噪声标签的监督学习问题中，使用 SD 的效果，并在理论上和经验上表明，最优的 SD 参数在某些情况下大于 1，证明 SD 比优化有用，并在二元分类和随机标签损坏的情况下证明了学生比教师有更好的准确性。
- 无需对抗样本修剪对抗鲁棒神经网络
该研究通过运用自蒸馏和信息瓶颈方案，提出新的神经网络剪枝框架，使其可以在保持鲁棒性的情况下压缩其大小并提高训练效率。
- ICLRTransformer 进一步预训练的自蒸馏方法
本文提出了自蒸馏（self-distillation）作为进一步预训练阶段的正则化方法来解决 Vision Transformer 模型在目标未标记数据上预训练的过拟合问题，最终在图像分类和文本分类任务中优于相关基线。
- 具动态样本加权的噪声鲁棒性双向学习
本文提出了一种双向学习方案，在保证收敛速度的同时，通过负样本的强大辨别能力来有效地处理标签噪音。此外，该文还提出了一种动态的样本重新加权策略来全局削弱噪声标记样本的影响，并结合自蒸馏来进一步提高模型性能。
- ECCVZipf 标签平滑的高效单次自蒸馏
该论文提出一种高效自蒸馏方法，名为 Zipf's Label Smoothing（Zipf 的 LS），可以提高预测准确性，使用 ResNet50 在 INAT21 细粒度分类数据集上，我们的技术实现比基准准确性提高了 +3.61％，并且比 - 自主学习视觉 Transformer 用于领域泛化
本文探讨使用自我蒸馏方法解决视觉 Transformer 在领域泛化问题上的过拟合问题，并在五个具有挑战性的数据集上实现了显著的性能提升，同时表现出了对最新领域泛化方法的优异性。
- MM基于模态感知的对比实例学习与自监督蒸馏用于弱监督的音视频暴力检测
本文提出一种基于弱监督学习的音视频暴力检测方法，通过模态感知对比学习与自我蒸馏策略，有效地提高了音视频一致性，克服了多通道学习中的异质性问题，并在大规模 XD-Violence 数据集上达到更优的检测性能。
- 通过迭代自我语义知识蒸馏来提高知识图谱嵌入
提出了一种迭代自我语义知识蒸馏策略，以提高低维空间下知识图谱 (KGs) 中的知识图谱嵌入 (KGE) 模型表达能力，实现更好的链接预测。通过使用一种新颖的语义提取块，将迭代基于的语义信息提取到训练模型的自我蒸馏中，从而使低维模型具有更高的 - CVPR目标感知双分支蒸馏的跨域物体检测
本文介绍了一种新的目标感知双分支蒸馏（TDD）框架，它可在统一的师生学习方案中集成源域和目标域的检测器分支，通过自蒸馏逐步整合来自不同领域的补充目标知识，以有效降低领域漂移并提高检测准确性。
- 对比学习：提高口语理解的 ASR 鲁棒性
本文提出了一种利用对比目标、监督对比学习和自蒸馏相结合的方法来学习对语音识别中的错误具有鲁棒性的话语表示，并进一步增强了其泛化能力。在三个基准数据集上的实验表明了我们提出的方法的有效性。