- 多目标无监督领域自适应语义分割
通过无需外部数据的多目标无监督领域适应策略，实现语义分割模型在新的未知目标域上的适应，无需使用来自多个目标域的标注和未标注数据，通过自我蒸馏和对抗学习的简单方法在多个合成 - 真实和真实 - 真实的适应设置中显著优于现有最先进解决方案。
- PEVA-Net: 针对零 / 少样本多视角三维形状识别的提示增强的视图聚合网络
基于多视图表征，利用大型视觉语言模型 CLIP，探索零 / 少样本三维形状识别任务，并提出 Prompt-Enhanced View Aggregation Network (PEVA-Net) 以同时解决零 / 少样本场景下的三维形状识别 - 应对测试时自鸣镜视频中的缺失模态
通过测试时间自适应的方式，本研究提出了一种用于处理缺失模态的自监督在线解决方案，称为 MiDl（具有自我蒸馏的互信息）。通过最小化预测和可用模态之间的互信息，该方法鼓励模型对测试中存在的特定模态源不敏感。此外，我们还采用了自我蒸馏方法，以在 - 自我蒸馏与复位的多元特征学习
我们的研究解决了模型学习多样特征时面临的问题，通过引入多样特征学习（DFL）方法，结合重要特征保持算法和新特征学习算法。具体而言，为保留重要特征，我们使用自蒸馏在模型训练期间选择观察到的有意义的模型权重。为学习新特征，我们采用重置方法，定期 - 通过刺激训练增强稀疏化
基于稀疏化剪枝的研究中，我们提出了一种增强稀疏化范式的结构化剪枝框架 (STP)，通过自蒸馏的方式维持被剪枝权重的大小并增强保留权重的表现力。此外，为了找到最优的剪枝网络架构，我们采用了多维架构空间和知识蒸馏引导的探索策略，同时使用子网变异 - 基于运动关注机制和帧级自蒸馏的连续手语识别
基于运动注意机制和帧级别自蒸馏的符号语言连续识别模型，能有效地提取视频中的符号语言运动信息，提高连续符号语言识别的准确性并达到最新水平。
- 多类别标签噪声下的自我蒸馏和部分标签学习的理解
自蒸馏是使用教师模型的输出来训练学生模型的过程，本研究在多类别分类中从理论上探讨了自蒸馏，研究了多轮自蒸馏和使用精炼教师输出的自蒸馏，其灵感源于部分标签学习（PLL）。我们通过为学生模型的输出推导出一个封闭形式解，发现自蒸馏在具有高特征相关 - AAAIEPSD: 早期剪枝与自蒸馏用于高效模型压缩
提出了一种名为早期修剪与自我蒸馏（EPSD）的框架，它在给定自我蒸馏任务的早期修剪中识别和保留可蒸馏的权重，通过两步骤的过程高效地将早期修剪和自我蒸馏相结合，以保持修剪网络的可训练性进行模型压缩。
- 学习对比自我蒸馏以进行面向有限样本的超细粒度视觉分类
在智能多媒体分析领域中，超细粒度视觉分类（Ultra-FGVC）在区分更大范畴内的复杂子范畴方面发挥着重要作用。本文提出 CSDNet，这是一个创新框架，通过有效探索对比学习和自我蒸馏来学习专为 Ultra-FGVC 任务设计的判别式表示。 - 基于自蒸馏的微调方法拓展数据有限的扩散模型的表达能力
我们提出了自我蒸馏 Fine-Tuning 扩散模型（SDFT），通过利用在大型源数据集上预训练的扩散模型的多样特征，从源模型中提取出更一般的特征（形状、颜色等），少量的领域特定特征（纹理、细节等），以在目标数据集上进行知识传递且不干扰训练 - MM基于自我蒸馏的多模态会话情感识别的 Transformer 模型
本文提出了一种基于自蒸馏 (SDT) 的基于变压器模型，该模型通过利用变压器来捕捉内部和跨模式之间的相互作用，并通过设计分层门控融合策略来动态学习模式之间的权重，并将所提出模型的软标签作为额外的训练监督，从而学习更具表现力的模式表示，实验证 - 借鉴过去：基于代理的对抗性防御框架提升稳健性能
一篇关于深度学习模型鲁棒性和对抗性训练的研究论文，提出了一个基于历史状态的更新规则和自蒸馏的防御目标，以提高模型的鲁棒性和训练稳定性。
- SD-HuBERT：自蒸馏在 HuBERT 中引发音节组织
在自监督学习中，通过基于数据的单元发现在语音处理领域迈入了新的阶段。本文展示了在学习语音的句子级表示中出现了音节组织。通过采用 “自蒸馏” 目标函数，在没有任何监督的情况下，对预训练的 HuBERT 进行微调，并添加一个汇总整个句子的聚合器 - 自我监督的单眼深度估计中迈向更好的数据利用
通过使用数据增强技术和细节增强的 DepthNet，该文提出了一种自我监督单目深度估计方法，拓展了训练数据的利用，并在 KITTI、Make3D 和 NYUv2 数据集上实现了最先进的性能。
- 联合多种意图检测和槽位填充的受监督对比学习和自蒸馏方法
我们提出了一种通过双向联合模型以及监督对比学习和自我蒸馏的训练方法来解决多意图检测和槽填充问题，并且实验证明该方法在这两个任务中的表现优于最先进的模型。
- ICCV从路径集合的角度重新审视视觉 Transformer
Vision Transformers（ViTs）可以被看做包含多条不同长度的平行路径的集合网络，通过路径修剪和自我蒸馏技术来优化路径组合，提供高质量的特征表示，并且充当高通滤波器以过滤部分低频信号。
- ICCV不准确边界框目标检测的空间自我蒸馏
通过空间自蒸馏对象检测器 (SSD-Det) 以及空间信息和类别信息的结合，利用模糊边界框的监督来改善对象检测，提高注释质量。在 MS-COCO 和 VOC 数据集上的实验证实了该方法的有效性，达到了最新的性能水平。
- 基于异构自蒸馏技术的货运列车制动系统高效视觉故障检测
本文提出了一种异构自蒸馏框架以保证检测精度和速度，同时满足低资源需求，通过采用轻量化骨干、构建异构知识颈，获得更可靠、准确的边界框估计，并采用新颖的损失函数改进学习效率，在四个故障数据集上进行实验表明，该框架可以实现超过 37 帧 / 秒的 - 半监督物体检测中的低置信度样本挖掘
该论文提出了一种新颖的低置信度样本挖掘方法（Low-Confidence Samples Mining，LSM），该方法能够有效地利用低置信度的伪标签实现半监督目标检测（SSOD），并通过自蒸馏的方法弥补两者的不足，该方法在 5% 标注比率 - 增强的蒙版图像建模技术用于分析牙科全景放射线照片
本研究提出一种自我蒸馏技术，基于 SimMIM Transformer 在牙科全景 X 射线拍摄中进行牙齿编号、检测牙科修复和矫正设备以及实例分割任务。结果表明，该方法优于其他自我监督学习方法，并改进了牙科全景 X 射线图像的注释。