teacher-student distillation | BriefGPT

关键词teacher-student distillation

搜索结果 - 11

SFDDM: 单折蒸馏扩散模型
提出了一种基于单次折叠蒸馏算法的教师 - 学生蒸馏方法，可以在保持高质量合成图像的情况下加速推断并压缩扩散模型，实现语义一致性和有意义的图像插值。
PDFa month ago
ICLR改善半监督实例分割的 (伪) 标签
通过引入一种双重策略来增强教师模型的训练过程，从而显著改善少样本学习，同时提出一种校准校正机制，使学生模型能够纠正教师的校准错误。实验结果在 LVIS 数据集上表现出显著的提升，平均精度（AP）提高了 2.8％，稀有类别的 AP 提高了 1
PDF4 months ago
分而治之：重新思考神经辐射场的训练范式
通过将输入视图按照其视觉相似性划分为多个组，并在每个组上训练单独的模型，然后通过教师 - 学生蒸馏范式将这些专门模型的知识聚合为一个实体，我们重新设计了 NeRF 的训练范式，提高了其渲染质量并实现了空间效率。
PDF5 months ago
Pheme：高效且会话式的语音生成
在这项研究中，我们介绍了 Pheme 模型系列，它提供了紧凑而高性能的模型，能够并行生成自然对话式语音，并且可以高效地在较小规模的对话数据上进行训练，降低数据需求 10 倍以上，但仍能与自回归 TTS 模型的质量相匹配。我们还展示了通过简单
PDF6 months ago
归纳式 CaloFlow
iCaloFlow 是一种基于归纳序列正规化流的快速探测器模拟框架，使用教师 - 学生蒸馏来提高采样速度。它能够在～10-100 倍于之前考虑的探测器几何形状的高精度模拟中发挥正规化流的潜力。
PDFa year ago
AAAIT2-GNN: 通过教师 - 学生蒸馏的方法，为具有不完整特征和结构的图形设计图形神经网络
本文提出了基于师生蒸馏的图神经网络框架 (T2-GNN)，旨在解决 GNN 在处理不完整图数据时性能下降的问题。该框架使用特定的特征级和结构级教师模型提供针对性的指导，并提出双重蒸馏模式以确保教师模型的知识被有效地灌输到学生模型中，从而消除
PDF2 years ago
EMNLPWIDER & CLOSER: 短通道蒸馏器的混合物用于零样本跨语言命名实体识别
本研究提出了一种混合短通道蒸馏方法（MSD），旨在完全互动教师模型中的丰富分层信息，并足够高效地将知识转移给学生模型，通过在多个蒸馏器聚合为混合物的多通道蒸馏框架实现信息传输。此外，还提出了一种无监督方法，采用平行领域自适应来缩短教师和学生
PDF2 years ago
EMNLP知识蒸馏传递集及其对下游 NLU 任务的影响
本文研究了采用不同数据集训练的应用领域教师和泛化语言模型辅导学生学习的关系，并发现即使存在较高噪声，使用应用领域数据进行辅导仍然比使用泛化数据表现更好。
PDF2 years ago
ICLR冷酿：利用不完整或缺失邻居提炼图节点表示
本论文提出了一种称为 Cold Brew 的教师 - 学生蒸馏方法，用于解决基于图神经网络中的严格冷启动问题 (SCS)，通过引入特征贡献比 (FCR) 的指标来量化归纳式图神经网络的行为，以帮助选择最佳体系结构，实验证明 Cold Bre
PDF3 years ago
LANA: 延迟感知网络加速
介绍了一种基于神经结构搜索技术和教师 - 学生知识蒸馏的延迟感知网络加速（LANA）方法，它在实验中取得了优异的效果，大幅提升了神经网络加速的速度和准确性。
PDF3 years ago
基于注意力机制的高效图像变换及蒸馏训练
通过使用注意力机制的神经网络，我们以卷积神经网络为教师，在 ImageNet 上训练单个计算机下的优秀可比拟的转换器，并引入了基于蒸馏令牌的教师 - 学生策略，以获得竞争性结果。
PDF4 years ago