ICLRMar, 2024

AuG-KD：面向领域外知识蒸馏的锚点混合生成

PDF
TL;DR利用不受数据限制的知识蒸馏方法（DFKD），通过不确定性导向和样本特定锚定来解决智能系统在隐私问题、性能退化和合适知识转移方面的挑战。
data-free knowledge distillationprivacy concernsperformance degradationuncertainty-guidedsample-specific anchor
发现论文，激发创造
  • 采样与蒸馏：开放世界数据的知识迁移

    提出了一种名为数据无关知识蒸馏（DFKD）的新任务，旨在使用仅带有原始训练数据的教师网络训练高性能学生模型。通过自适应采样模块对接近原始数据分布的开放世界数据进行采样，引入低噪声表示以减轻领域漂移并建立多个数据示例的结构化关系来开发数据知识。在 CIFAR-10、CIFAR-100、NYUv2 和 ImageNet 等广泛实验中，我们的 ODSD 方法实现了最先进的性能，在 ImageNet 数据集上与现有结果相比，准确率提高了 1.50％-9.59％。

    Jul, 2023

  • 宽容专家的教师：与教师无关的无数据知识蒸馏

    无数据知识蒸馏方法 (TA-DFKD）通过为生成器分配宽松的专家角色，而非严格的监督者角色，以更健壮和稳定的性能，实现了在各种教师模型下的蒸馏，并超越了现有的无数据知识蒸馏方法。

    Feb, 2024

  • 数据无关的去卷积知识蒸馏处理分布转移

    数据无关知识蒸馏是训练高性能小模型以增强实际部署的有希望的任务，本文提出了一种新颖的因果推断视角来解决在 DFKD 任务中的严重分布偏移问题，并设计了一种基于反向调整的知识蒸馏因果干预框架（KDCI），实验证明了其有效性。

    Mar, 2024

  • 从领域外数据进行蚕合以删选知识

    该研究提出了一种基于 MosaicKD 的知识蒸馏方法，可以使用低成本的跨域数据来训练模型，显著优于现有的方法，并在分类和语义分割等任务中得到了验证。

    Oct, 2021

  • 重新审视无数据知识蒸馏及其受污染教师

    本文旨在探讨数据无关知识蒸馏的安全问题并提出了 Anti-Backdoor Data-Free KD，这是第一个用于缓解潜在后门被转移的数据无关 KD 方法的防御性插件。

    Jun, 2023

  • MixKD：大规模语言模型高效蒸馏

    提出了一种利用 Mixup 数据扩充技术的数据不可知蒸馏框架 MixKD，大幅度降低了一些实践性问题的影响，提升了大规模语言模型的泛化能力，实现了比标准 KD 培训更好的性能表现，能用于低资源平台上的应用。

    Nov, 2020

  • KD3A: 通过知识蒸馏进行无监督多源去中心化域自适应

    KD3A 是一种隐私保护的多源领域自适应算法，它通过对来自不同源域的模型进行知识蒸馏来实现域适应，并采用多源知识投票、共识聚焦和 BatchNorm MMD 等方法解决了常规 UMDA 方法中存在的负迁移、安全通信和数据质量等问题，同时相对于其他分散式 UMDA 方法可降低 100 倍的通信成本，且表现也显著优于现有 UMDA 方法。

    Nov, 2020

  • 无数据知识蒸馏用于细粒度视觉分类

    我们提出了一种名为 DFKD-FGVC 的方法，它扩展了 DFKD 到细粒度视觉分类任务，使用了对抗蒸馏框架、注意力生成器、混合高阶注意力蒸馏和语义特征对比学习，以实现更好的性能表现。

    Apr, 2024

  • 不同领域之间的直接蒸馏

    基于知识蒸馏，提出了一种新的单阶段方法 “不同领域之间的直接蒸馏”(4Ds)，通过可学习的适配器和融合 - 激活机制，实现了从教师网络到学生网络的跨领域知识转移，取得了可靠的学生网络性能并超过了现有方法。

    Jan, 2024

  • 领域差异感知蒸馏：联邦学习模型聚合

    本文针对 Federated Learning 领域中存在的不同数据集之间的 Domain Discrepancy 挑战，分析了来源于知识蒸馏模型的聚合模型的泛化界限，并提出了一种基于 Domain Discrepancy Aware Distillation 的自适应知识聚合算法 FedD3A 来降低该界限，并在两个流行的跨域数据集上验证了该算法的有效性。

    Oct, 2022