AAAIJan, 2023

ProKD: 一种无监督的原型知识蒸馏网络，用于零资源跨语言命名实体识别

PDF
TL;DR该研究提出了一种无监督的原型知识蒸馏网络（ProKD）来提高模型在跨语言命名实体识别问题上的表现。该方法通过原型对齐和基于原型的自训练两种方法，让源语言和目标语言的类别特征得到对齐，同时提高模型获取跨语言通用知识和目标语言特定知识的能力。在三个基准数据集上的实验表明该方法的有效性。
named entity recognitionzero-resource languagesknowledge distillationteacher-student architectureprototype alignment
发现论文，激发创造
  • 跟随自己的道路：一种渐进式的知识蒸馏方法

    本文提出了一种名为 ProKT 的知识蒸馏方法，通过将教师模型的监督信号投影到学生参数空间中，从而在优化过程中实现了更好的局部最优解，实验结果表明，与其他现有的知识蒸馏方法相比，ProKT 在图像和文本数据集上都展现出了卓越的性能。

    Jul, 2021

  • 基于伪目标训练的语言生成知识蒸馏系统研究

    研究自然语言生成（NLG）中的知识蒸馏技术优化模型并生成具体的文本任务，提出伪目标（PT）数据增强方法并应用于双方产生的多个 PT 的词级 KD，从而有效地压缩模型。

    May, 2023

  • MixKD：大规模语言模型高效蒸馏

    提出了一种利用 Mixup 数据扩充技术的数据不可知蒸馏框架 MixKD，大幅度降低了一些实践性问题的影响，提升了大规模语言模型的泛化能力，实现了比标准 KD 培训更好的性能表现，能用于低资源平台上的应用。

    Nov, 2020

  • 跨语言时序知识图谱推理的相互匹配知识蒸馏

    该研究探讨了跨语言时间知识图谱推理问题，并提出了相应的相互加速的知识蒸馏模型，用于解决在低资源语言下推理性能不佳的问题。

    Mar, 2023

  • 再生神经网络

    本文研究知识迁移领域的另一种方法：Born-Again Networks (BANs)，将学生的参数与老师的相同， 来达到比老师更好的性能表现。在计算机视觉和语言建模任务中， BANs 表现出甚至比老师高出许多的性能得分，并且在各种规模的学生中，将知识从 DenseNets 到 ResNets 和反向传输，都显示出明显的优势

    May, 2018

  • WIDER & CLOSER: 短通道蒸馏器的混合物用于零样本跨语言命名实体识别

    本研究提出了一种混合短通道蒸馏方法（MSD），旨在完全互动教师模型中的丰富分层信息，并足够高效地将知识转移给学生模型，通过在多个蒸馏器聚合为混合物的多通道蒸馏框架实现信息传输。此外，还提出了一种无监督方法，采用平行领域自适应来缩短教师和学生模型之间的通道，以保留域不变特征。在 4 个数据集上跨越 9 种语言的实验表明，所提出的方法在零样本跨语言命名实体识别方面取得了新的最先进性能，并在语言和领域之间展现出很好的泛化和兼容性。

    Dec, 2022

  • Meta-KD: 跨领域语言模型压缩的元知识蒸馏框架

    利用领域间的可转移知识，我们提出了一种元知识蒸馏 (Meta-KD) 框架，将初始的深度预训练模型压缩为体积更小的单域学生模型，并在多个 NLP 任务上进行了实验验证。

    Dec, 2020

  • 利用神经网络中的反向传播知识改进知识蒸馏

    该论文提出了一种新的知识蒸馏方法，通过在教师模型与学生模型差异较大的地方提取知识，在生成新的辅助样本的过程中改善学生模型的性能，从而使教师模型与学生模型更加匹配。这种方法在自然语言处理和计算机视觉等领域得到了良好的实验结果。

    Jan, 2023

  • MKD：一种预训练语言模型的多任务知识蒸馏方法

    本文提出了一种基于多任务学习的知识蒸馏方法，用于训练轻量级的预训练模型，该方法适用于不同的教师模型体系结构，并且相较于传统上基于 LSTM 的方法，具有更好的语言表达能力和更快的推理速度。

    Nov, 2019

  • Pro-KD：跟随老师的足迹进行渐进式蒸馏

    本文介绍了一种名为 Progressive Knowledge Distillation 的技术，通过模仿教师模型的训练轨迹，改善了知识蒸馏中的 “容量差距问题”（capacity-gap problem）和 “检查点搜索问题”（checkpoint-search problem），在不同的任务（如图像分类、自然语言理解等）中，与最先进的技术相比，实验结果始终保持更好的表现。

    Oct, 2021