distillation approach | BriefGPT

关键词distillation approach

搜索结果 - 7

2DQuant：基于低位后训练量化的图像超分辨率
2DQuant 是一种双阶段低比特后训练量化（PTQ）方法，通过研究权重和激活分布，使用分布导向边界初始化和蒸馏量化校准的方法，实现了在低比特量化下高效准确的图像超分辨率。
PDF24 days ago
CVPR即插即用扩散蒸馏
我们提出了一种新的蒸馏方法，可以减少迭代计算过程中无需分类器指导的扩散模型的推理计算时间，并且只需要基础模型的 1％的可训练参数，同时还能维持生成图像的视觉逼真度。
PDFa month ago
卷积神经网络通过决策树对特征图进行知识蒸馏
通过提取卷积神经网络的最终层中的特征并使用决策树进行训练，我们提出了一种蒸馏方法来解释深度神经网络的推理，展示了决策树在解释卷积神经网络决策时的表现与最小复杂度的卷积神经网络相当好。
PDF4 months ago
提炼归纳偏见：超越模型压缩的知识蒸馏
通过集成式蒸馏方法从轻量级教师模型中蒸馏归纳偏差，我们介绍了一种创新的蒸馏方法，以支持视觉转换和文本领域之间的统一信息处理，提高了学生性能，并减轻了计算负担和提高了效率。
PDF9 months ago
CONSCENDI：一种对比和场景引导的蒸馏方法，用于虚拟助手的护栏模型
本文研究使用 GPT-4 的训练数据和蒸馏方法，探索了一种称为 CONSCENDI 的守护模型，用于监控虚拟助手的输出，以保持其输出符合设计规则，提供了一种新方法以生成更多样化的违规训练数据。研究表明，使用 CONSCENDI 得到的守护模
PDFa year ago
动态图形识别 3D 物体的 DGCNN 算法
提出了一种在点云中基于消息传递和动态图形的 3D 物体检测架构，通过一种针对 3D 检测任务的集合到集合的蒸馏方法来简化知识蒸馏，实现了自动驾驶基准测试的最先进性能。
PDF3 years ago
WSDMDualDE: 双重蒸馏知识图谱嵌入以加速和降低推理成本
提出一种双重教导方法 DualDE，用于提高知识图谱嵌入的推理效率，通过软标签评估机制和两阶段蒸馏方法，可以将高维 KGE 减少 7-15 倍，推理速度提高 2-6 倍。
PDF4 years ago