May, 2023

文本图像机器翻译的多教师知识蒸馏

PDF
TL;DR本文提出一种基于多教师知识蒸馏 (MTKD) 的文本图像机器翻译 (TIMT) 方法，将管道模型的知识有效地转移至端到端 TIMT 模型中，包括图像编码器、序列编码器和解码器的知识引导优化，并采用令牌和句子级别知识蒸馏相结合来提高翻译性能。实验结果表明，相比于现有的管道和端到端模型，MTKD 可以更有效地改进文本图像翻译性能，具有更少的参数和更少的解码时间。
发现论文，激发创造
  • MTKD：图像超分辨率的多教师知识蒸馏

    我们提出了一种新颖的多教师知识蒸馏（MTKD）框架，专门用于图像超分辨率，通过结合和增强多个教师模型的输出来指导紧凑的学生网络的学习过程，并通过在空间和频率域中观察差异来优化训练过程，从而在超分辨率性能上实现了明显的改善。

    Apr, 2024

  • 自适应多教师多层级知识蒸馏

    我们提出了基于多教师多层知识蒸馏学习框架的自适应学习方法，该方法通过将每个教师与潜在表示相关联，自适应地学习实例级教师重要性权重，从而获取集成的高级知识，并通过多组提示策略从多个教师处汇集中间级知识。实验表明，该方法确保学生比强竞争者取得了更好的性能。

    Mar, 2021

  • 神经机器翻译知识蒸馏理解与改进探究

    本文研究神经机器翻译中知识蒸馏的技术，发现知识来源于教师的 top-1 预测，进一步提出一种名为 TIE-KD 的方法用于增强知识蒸馏，包含了层次排序损失和迭代蒸馏等措施，实验证明 TIE-KD 优于基准模型，具有更高的潜力和泛化性能。

    May, 2023

  • 为何跳过合并：一种用于中间层的简单知识蒸馏技术

    本研究提出一种新颖的神经机器翻译知识蒸馏技术，通过层级监督，将大型准确的老师网络的知识注入到小巧的学生网络中，以适应边缘设备上内存约束的低资源环境。实验表明，采用该技术，学生网络的参数数量减少了 50％，仍能提供与老师网络相媲美的翻译结果。针对葡萄牙语 - 英语、土耳其语 - 英语和英语 - 德语方向的翻译实验结果也得到了验证。

    Oct, 2020

  • 知识蒸馏技术下的端到端语音翻译

    本文提出了一种基于知识蒸馏的方法来提高端到端语音翻译 (ST) 模型的性能，通过从文本翻译模型中转移知识来训练 ST 模型。在英法增广 LibriSpeech 和英汉 TED 语料库上的实验结果表明，使用该方法可以对相似和不相似的语言对进行端到端 ST 实现，并且在老师模型的指导下，端到端 ST 模型可以取得 3.5 个 BLEU 分数的显着提升。

    Apr, 2019

  • 将图像蒸馏至虚无：用反演知识蒸馏进行多模式机器翻译

    IKD-MMT 提出了一种新的多模式机器翻译框架，通过知识蒸馏技术支持无图像干扰的推理阶段，并在 Multi30k 基准测试中取得了最先进的结果。

    Oct, 2022

  • MKD：一种预训练语言模型的多任务知识蒸馏方法

    本文提出了一种基于多任务学习的知识蒸馏方法，用于训练轻量级的预训练模型，该方法适用于不同的教师模型体系结构，并且相较于传统上基于 LSTM 的方法，具有更好的语言表达能力和更快的推理速度。

    Nov, 2019

  • Web 问答系统的两阶段多教师知识蒸馏模型压缩

    本文介绍了一种基于 Two-stage Multi-teacher Knowledge Distillation (TMKD) 的深度预训练与微调、模型压缩及知识蒸馏方法，以提升网络问答系统的效率。实验结果表明，该方法在保证准确性的同时，大幅提升模型推理速度。

    Oct, 2019

  • 元学习的自适应多教师知识蒸馏

    本文提出了自适应多教师知识蒸馏与元学习，以指导学生从量身定制的集成教师中获得适当的知识。通过元权重网络的辅助，将输出层和中间层中多样但兼容的教师知识联合利用，以增强学生的表现。在多个基准数据集上进行的广泛实验验证了本方法的有效性和灵活性。

    Jun, 2023

  • 序列级知识蒸馏

    本文介绍了在神经机器翻译中应用知识蒸馏技术，包括传统的单词级别预测和两种新的序列级知识蒸馏模型。在现有最优模型的基础上，我们的学生模型在运行速度增加的同时，表现损失不大。此外，通过权重剪枝，还极大地减小了模型的参数数量。

    Jun, 2016