在跨领域模型压缩方面，我们提出了一种新颖的端到端框架，称为 Universal and joint knowledge distillation (UNI-KD)，通过对抗学习方案将源域和目标域之间的通用特征级知识和共享的对数级知识从教师模型传递给学生模型，实现了模型的压缩。在四个时间序列数据集上进行的广泛实验结果表明，我们提出的方法优于最先进的基准模型。

Jul, 2023

本研究提出了一种新方法，通过域自适应和无监督知识蒸馏，联合优化卷积神经网络，实现压缩模型并适应于特定目标领域，结果表明该方法在实现较高准确度的同时，比现有的压缩和域自适应技术具有相当或更低的时间复杂度，在实际应用中有较好的应用前景。

May, 2020

提出了一种医疗图像领域自适应的单次学习里程碑检测框架（UOD），通过使用两个阶段的通用模型和领域特定模块，实现了多领域无标签数据的领域偏好适应，并在 X-ray 头，手和胸部三类不同解剖部位的公共数据集上获得了最先进的表现。

Jun, 2023

我们提出了 US-DAF 方法来解决通用域自适应目标检测中的负迁移问题，提高在各种尺度下的迁移性和区分性。该方法通过两个模块实现：1）设计一个过滤机制模块来促进公共类的特征对齐并抑制私有类的干扰来克服由于类别偏移引起的负迁移。2）引入新的多标签尺度适应器来进行两个域之间相应尺度的个体对齐。实验表明，US-DAF 方法在三种场景下均达到了最先进的结果，并在 Clipart1k 和 Watercolor 基准数据集上获得了 7.1％和 5.9％的相对改进。

Jul, 2022

本研究提出一种在线无监督域自适应算法，通过在共享嵌入空间中最小化源潜在特征与目标特征之间的分布距离，促进两个领域之间的共享领域无关潜在特征空间，从而改善图像的语义分割模型在未注释领域上的泛化性能。为了在自适应过程中减轻对源样本访问的需求，我们通过一个合适的替代分布（如高斯混合模型）来近似源潜在特征分布。我们在已建立的语义分割数据集上评估了我们的方法，并证明它在未注释领域的泛化性能上与最先进的无监督域自适应方法相比具有竞争优势。

Jan, 2024

本文研究使用在线知识蒸馏方法，提出了一种 On-the-fly Native Ensemble (ONE) 策略，通过构建强大的 teacher 来提高目标网络的学习，该方法在多种深度神经网络上性能明显优于其他方法，并具有计算效率优势。

Jun, 2018

我们提出了优化轨迹蒸馏，这是一种统一的方法，从新的角度解决了两个技术挑战。我们充分利用了梯度空间的低秩特性，并设计了一种双流蒸馏算法，以从可靠的源获得外部指导来规范不充分标注的域和类的学习动态。我们在多个任务上对所提出的方法进行了广泛评估，结果证明了其在临床和开放世界中的显著效果和改进。

Jul, 2023

本文提出了一种双层蒸馏网络框架 OKDDip，其中包括多个辅助对等体和一个领导群体，辅助对等体通过注意力机制获取自己的预测目标，来作为组群内部的目标进行蒸馏学习，然后再将知识传递给领导群体，实现知识转移。实验结果表明，该框架在训练或推理复杂度上不会牺牲性能，相较于现有方法，可以提供更好的蒸馏效果。

Dec, 2019

本文提出了一种新的无监督多目标域自适应方法，通过多教师知识蒸馏来训练 CNN，使其可以在多个目标领域上广义化。该方法通过逐步蒸馏目标域知识到一个共同的学生无直接学习域适应特征，同时保留每个目标（教师）的特异性以适应学生，通过在多项具有挑战性的 UDA 基准测试上的实证结果表明，我们提出的模型可以在多个目标域上提供较高水平的准确性。

Jul, 2020

本文提出了一种新颖的连续无监督域自适应框架，MuHDi，它使用多头蒸馏方法解决了持续学习任务中的灾难性遗忘问题，并进行了大量的消融与实验说明其在挑战性的多目标 UDA 语义分割基准上的有效性与鲁棒性。

Apr, 2022