NaturalInversion 是一种基于模型反演的新颖方法，能够在不使用真实数据的情况下生成与原始数据分布非常吻合的图像，并在 CIFAR-10/100 分类器上生成的图像在可视化和其他分析中表现出更好的一致性和效果。

Jun, 2023

通过使用小规模逆置数据进行知识蒸馏，提高训练效率的数据无关知识蒸馏 (SSD-KD) 方法在图像分类和语义分割基准测试中展示了超强的性能和高效的训练。

Jun, 2024

提出了一种新的方法，通过利用训练教师网络内在归一化层的统计信息来训练生成图像模型，从而在没有训练数据的情况下实现知识迁移、模型压缩和半监督学习，该方法在 CIFAR-10 和 CIFAR-100 数据集上表现出色，并能够将其扩展到 ImageNet 数据集。

Dec, 2020

本文介绍了一种名为 “Diffusion Inversion” 的方法，该方法使用预先训练的生成模型 Stable Diffusion，通过将图像倒换到其潜在空间中来捕获原始数据分布并确保数据覆盖，即可生成多样高质量的训练图片，此方法通过三个关键部件成功替换了原始数据集，从而提高了样本复杂度并缩短了采样时间，不仅优于泛化提示导向方法和 KNN 检索基线，还可与常见数据增强技术兼容，提高少样本学习的可靠性。

May, 2023

本研究提出了一个基于多元正态分布的数据自由知识蒸馏方法，该方法从过度参数化神经网络中模拟中间特征空间并利用软目标标签生成伪样本以作为转换集。使用这些合成的转移集训练多个学生网络，表现出与使用原始训练集和其他无数据知识蒸馏方法训练的网络相当的竞争性能。

Apr, 2021

本研究提出了一个自我监督特征表示学习框架 DreamTeacher，利用生成网络对下游图像骨干进行预训练。通过将经过训练的生成模型中的知识提取到已经针对特定感知任务进行精心设计的标准图像骨干，我们通过两种类型的知识蒸馏来探索在大型标签数据集（例如 ImageNet）上进行预训练的代替方法。在许多生成模型、密集预测基准和几种预训练方案上进行了大量分析，实证发现 DreamTeacher 在各方面均显著优于现有的自我监督表示学习方法，展示了生成模型和扩散生成模型作为大型和多样数据集上的表示学习的一种有前途的方法，而不需要手动注释。

Jul, 2023

本文提出了零数据知识迁移的方法，通过自动生成 Data Impressions 从而实现了基于 Teacher 模型的知识迁移，不需要获取原始数据，具有实用性和良好的泛化能力。

May, 2019

本文提出了一种基于 Inversion-specific GAN 的新型模型反演攻击方法，通过训练鉴别器不仅区分真伪样本，而且包括目标模型提供的软标签，进而为每个目标类建模私人数据分布，成功率比先前的攻击方式有所提高（150%），而且普适于多种数据集和模型。

Oct, 2020

本文介绍了一种新的增量知识蒸馏策略来解决 Data-Free Class-Incremental Learning（DFCIL）的问题，该策略通过修改交叉熵训练和重要性加权特征蒸馏，提高了 DFCIL 的准确率，并在公共课程增量基准测试中表现出优异的性能。

Jun, 2021

该论文利用深度神经网络将面部素描图像还原为照片级真实面部图像，采用半模拟数据集和深度学习技术，包括批处理规范化、深层残差学习、感知损失和随机优化。最后，通过艺术和犯罪学示例，展示了该方法的应用潜力。

Jun, 2016