teacher-student training | BriefGPT

关键词teacher-student training

搜索结果 - 9

RoTaR: 高效的基于行的表格表示学习通过教师 - 学生训练
本研究提出了 RoTaR 方法，采用基于行的表格表示学习方法，通过生成查询不相关的行表示来解决现有方法面临的效率和可扩展性问题，并引入了多种技术，如基于单元格的位置嵌入，师生训练范式和选择性反向传播来提高 RoTaR 模型的性能。
PDFa year ago
使用噪声混音训练和两阶段推断的无监督语音增强的教师 - 学生框架
本文提出了一种不需要主观 / 客观语音质量度量作为参考的教师 - 学生训练策略来改进先前提出的嘈杂目标训练策略，并使用该模型作为初始模型，实验结果表明我们的方法优于几个基准方法，尤其是在两阶段推理中。
PDF2 years ago
使用蒸馏句子表示进行低资源语言的双语文本挖掘
通过师生模型训练多种语言的表示，可以在非常低资源的条件下为非洲语言等许多不常见的语言建立有用的文本数据集。
PDF2 years ago
CVPRTransformaly -- 一藏俩器（特征空间）胜于一
本研究提出了一种称为 Transformaly 的方法，利用预先训练的网络（ViT）提取特征向量，并使用教师 - 学生训练方法将训练数据中的正常样本提供给学生网络进行训练，从而在异常检测方面实现了超越最新技术的结果。
PDF3 years ago
Pro-KD：跟随老师的足迹进行渐进式蒸馏
本文介绍了一种名为 Progressive Knowledge Distillation 的技术，通过模仿教师模型的训练轨迹，改善了知识蒸馏中的 “容量差距问题”（capacity-gap problem）和 “检查点搜索问题”（check
PDF3 years ago
使用联邦学习在非独立同分布数据上训练关键词识别模型
本文研究了使用联邦学习的 on-device 训练方法，通过优化算法和参数配置，替代原有数据增强方法并探索师生模型训练等技术手段，提高了关键词识别模型的准确性。
PDF4 years ago
AAAI长短期样本蒸馏
本文提出了一种新的训练策略 Long Short-Term Sample Distillation，通过同时利用过去训练过程中的多个阶段来引导神经网络的后续训练更新，同时只需要进行一次生成操作。该方法中，每个样本的监督信号被分解为两部分，即
PDF4 years ago
Marian: C++ 实现的高质量低成本神经机器翻译
本文介绍了 “Marian” 小组对 WNMT 2018 共享任务的提交。我们研究了在 GPU 和 CPU 上优化 Transformer 模型的各种方法，包括教师 - 学生训练、低精度矩阵积、自动调节等。通过进一步结合新的平均注意力网络，
PDF6 years ago
用于小规模高速公路网络的知识蒸馏
本文研究基于知识蒸馏的紧凑深度神经网络模型用于语音识别任务，并通过序列训练和适应进一步提高模型的准确率。在 AMI 会议语音识别语料库上的实验结果表明，该方法显著提高了模型的准确性，同时减小了模型参数规模与识别准确率之间的差距。
PDF8 years ago