distillation framework | BriefGPT

关键词distillation framework

搜索结果 - 10

想象 Flash：使用向后蒸馏加速鸵鸟扩散模型
通过反向蒸馏、动态适应的位移重构损失和噪声修正技术，我们提出了一种新的蒸馏框架，用于实现高保真度、多样化的样本生成，仅使用一到三个步骤即可。通过大量实验证明，我们的方法在定量指标和人工评估中优于现有竞争对手，仅仅使用三个降噪步骤即可达到与教
PDF2 months ago
iDAT: 逆蒸馏适配器调整
通过利用逆向蒸馏适配器调优（iDAT）框架，将 Adapter-Tuning 方法和知识蒸馏相结合，我们成功地改进了微调性能，并实验证明了该方法的有效性。
PDF3 months ago
教授多层感知器更多图信息：一个三阶段多任务知识蒸馏框架
我们研究在大规模图数据集上的图神经网络推理任务中存在的时间和内存消耗的难题，并尝试通过减少对图结构的依赖来克服此问题。为了解决位置信息丢失和低泛化性的两个主要问题，我们提出了一个新的三阶段多任务蒸馏框架，其中使用位置编码来捕捉位置信息，引入
PDF4 months ago
预测腋窝淋巴结转移中的缺失模态下的多模态学习
基于多模态学习的鉴别性淋巴结转移诊断模型，在临床医学实践中，通过双向蒸馏框架获得全面的多模态知识和稳健的 WSI 特征，有效地处理多模态数据和丢失模态，提高早期乳腺癌患者治疗决策的准确性。
PDF6 months ago
自适应特征选择在无参考图像质量评估中的应用：对比缓解语义噪声敏感性
使用对比学习方法的质量感知特征匹配图像质量评估度量 (QFM-IQM)，通过对具有相似语义特征但质量得分不同的图像对进行比较，以自适应地调整上游任务的特征，移除有害特征并通过蒸馏方法提高模型的泛化能力，在 8 个标准 NR-IQA 数据集上
PDF7 months ago
通过蒸馏实现快速零标签场景流量
通过使用无需标签的方法来监督前馈模型，本文提出了一个简单的蒸馏框架，其实例 ZeroFlow 可以在大规模点云上实时进行场景流估计，而不需要人工标注。
PDFa year ago
ECCV基新共通性的多方面蒸馏，用于少样本目标检测
提出了一种基于记忆库的统一蒸馏框架，显式地学习了基类和新类之间的三种类不可知共性，显著提高少样本目标检测的性能。
PDF2 years ago
ECCV利用特权信息学习高效图像超分辨率
本文介绍了一种基于卷积神经网络的图像超分辨率方法 ——FSRCNN，该方法使用极小的网络参数达到了良好的效果，并使用一种新颖的蒸馏框架，通过教师和学生网络进行高分辨率的重建，大大提升了网络性能。
PDF4 years ago
IJCAI学生超越导师：基于师生模型的词嵌入蒸馏与集成学习
本文提出了一种新的嵌入蒸馏框架，使词嵌入的维度显著降低但不影响准确性，并介绍了使用多个教师模型训练高效的学生模型的新型蒸馏集成方法。通过实验验证，在七个文本分类数据集上，该方法在大多数情况下均表现出比教师模型更好的性能，对词嵌入的变换进行了
PDF5 years ago
ICCVDistInit: 不使用单个带标签视频学习视频表示
本文提出了一种另类的方法，通过使用预训练的图像模型作为 “老师” 来训练视频模型，从而实现对视频表示的无监督学习。相比于现有的技术，该方法在 input modalities 的不同数据源下具有更强的迁移性能，并在彻底未被筛选的原始视频数据
PDF5 years ago