EMNLPDec, 2022

WIDER & CLOSER: 短通道蒸馏器的混合物用于零样本跨语言命名实体识别

PDF
TL;DR本研究提出了一种混合短通道蒸馏方法（MSD），旨在完全互动教师模型中的丰富分层信息，并足够高效地将知识转移给学生模型，通过在多个蒸馏器聚合为混合物的多通道蒸馏框架实现信息传输。此外，还提出了一种无监督方法，采用平行领域自适应来缩短教师和学生模型之间的通道，以保留域不变特征。在 4 个数据集上跨越 9 种语言的实验表明，所提出的方法在零样本跨语言命名实体识别方面取得了新的最先进性能，并在语言和领域之间展现出很好的泛化和兼容性。
发现论文，激发创造
  • XtremeDistil：大规模多语言模型的多阶段蒸馏

    本研究聚焦于多语言实体识别，探究知识蒸馏压缩预训练语言模型的多种策略，通过利用教师模型内部表示的分阶段优化方案，成功将 MBERT 模型压缩了 35 倍参数，51 倍批量推理的延迟，同时保持在 41 种语言中的 95％的 F1 分数。

    Apr, 2020

  • UniversalNER: 针对开放式命名实体识别的大型语言模型的有针对性蒸馏

    本文通过目标蒸馏训练以培养能在广泛应用领域，如开放信息抽取中表现出色的学生模型，以命名实体识别为案例研究，展示了如何将 ChatGPT 蒸馏为更小的 UniversalNER 模型，通过在包括生物医学、编程、社交媒体、法律和金融等 9 个多样领域的 43 个数据集上评估，无需直接监督训练，UniversalNER 在成千上万个实体类型上取得了显著的 NER 准确性，平均 F1 值比 Alpaca 和 Vicuna 等通用指导调教模型高出 30 个百分点，仅使用极少参数，UniversalNER 不仅具备了 ChatGPT 识别任意实体类型的能力，还比平均 NER 准确性高出 7-9 个百分点，甚至在超越 InstructUIE 等最新多任务指导调教系统（使用监督 NER 样例）方面表现出色，同时进行了全面的消融研究以评估我们蒸馏方法中各组件的影响，以便促进未来针对目标蒸馏的研究。

    Aug, 2023

  • 跨语言命名实体识别的增强迭代知识蒸馏

    本文描述了微软在交叉语种命名实体识别中的新实践方法，使用源语种的标注数据和目标语种的无标注数据，采用半监督学习和强化学习的方法来提取弱监督信号并实现了新的最先进性能优于现有的模型。

    Jun, 2021

  • ProKD: 一种无监督的原型知识蒸馏网络，用于零资源跨语言命名实体识别

    该研究提出了一种无监督的原型知识蒸馏网络（ProKD）来提高模型在跨语言命名实体识别问题上的表现。该方法通过原型对齐和基于原型的自训练两种方法，让源语言和目标语言的类别特征得到对齐，同时提高模型获取跨语言通用知识和目标语言特定知识的能力。在三个基准数据集上的实验表明该方法的有效性。

    Jan, 2023

  • ERNIE-Search: 通过自我即时蒸馏将交叉编码器与双编码器相结合，实现密集型段落检索

    本文提出了一种新颖的蒸馏方法，将自然语言处理模型中的交互信息更好地应用于开放领域的问答问题，并通过级联蒸馏方法优化成绩，从而在 Open-Domain QA 基准上取得了优于强基线模型的最优结果。

    May, 2022

  • 单 / 多通道端到端神经分离的互相学习

    本文介绍了一种可处理单通道和多通道输入的端对端神经对话模型，并提出了一种双向知识传输的方法，既从多通道模型向单通道模型进行知识蒸馏，又从蒸馏后的单通道模型向多通道模型进行微调，实验结果表明该方法相互提高了单通道和多通道演讲者分离的性能。

    Oct, 2022

  • Translate-Distill：通过翻译和蒸馏学习跨语言稠密检索

    该研究提出了一种名为 Translate-Distill 的方法，它利用交叉编码器或 CLIR 交叉编码器的知识蒸馏来训练双编码器 CLIR 学生模型。

    Jan, 2024

  • 多语言信息检索的蒸馏

    使用 Translate-Distill 框架进行跨语言信息检索 (CLIR) 已经显示出其通过翻译和塑造训练跨语言神经双重编码器模型的好处。然而，Translate-Distill 仅支持单一语言。本研究扩展 Translate-Distill 并提出了用于多语言信息检索 (MLIR) 的多语言 Translate-Distill (MTD) 方法。我们通过 nDCG@20 指标和 MAP 指标在性能上展示了使用 MTD 培训的 ColBERT-X 模型优于以前的最先进训练方法 Multilingual Translate-Train，其在 nDCG@20 上提高了 5% 到 25%，在 MAP 上提高了 15% 到 45%。我们还展示了该模型对于训练批次中语言混合方式的鲁棒性。我们的实现可在 GitHub 上找到。

    May, 2024

  • 跨语种语义相似匹配的多阶段蒸馏框架

    本论文提出了一种多阶段蒸馏框架来构建小型但高性能的跨语言模型，同时结合对比学习、瓶颈和参数循环策略，解决了模型压缩过程中性能损失严重的问题，并证明该方法可以将 XLM-R 和 MiniLM 的大小压缩了 50％以上，而性能仅降低了约 1％。

    Sep, 2022

  • DualNER：用于零样本跨语言命名实体识别的双重教学框架

    本文提出了一种名为 DualNER 的简单有效方法，通过联合序列标注和跨度预测两种方法的多任务框架，使用注解的源语言语料库和无标签的目标语言文本进行跨语言命名实体识别，并引入实体感知的正则化来增强不同语言中相同实体之间的内在跨语言对齐。实验和分析证明了 DualNER 的有效性。

    Nov, 2022