Feb, 2022

多语言蒸馏和零样本感知训练的跨语言文本分类

PDF
TL;DR利用教师 - 学生框架从高性能的单语言模型中转移知识，构建了一个基于 MPLMs 的多语言分支模型（MBLM），并使用零射击感知的训练策略令模型从所有分支的零射击表示中学习，我们的方法仅使用任务的监督数据，提高了 MPLMs 的监督性能和零射击性能。
发现论文，激发创造
  • 预训练的多语言语言模型在零差生成中的实证研究

    通过在一个语言上对多语言预训练语言模型（mPLM）进行微调，再在其他语言上使用它进行预测，零样本跨语言生成通常会出现使用错误语言生成的问题，本研究测试了替代的 mPLMs（如 mBART 和 NLLB），考虑到全微调和适配器参数高效微调，并发现带适配器的 mBART 的性能与相同规模的 mT5 相似，NLLB 在某些情况下具备竞争力，还强调了微调中学习率的调整对缓解错误语言生成问题的重要性。

    Oct, 2023

  • 多任务学习用于多语言模型零 - shot 性能预测

    本研究通过建模探索基于 Transformer 的多语言语言模型在零样本跨语言转移上的性能预测，并将其视为多任务学习问题，从而建立准确的预测模型。我们的方法还同时进行了特征选择，识别出对多个任务的零样本表现具有影响的共同特征。

    May, 2022

  • 预训练多语言语言模型入门

    该论文调查了关于多语言语言模型的研究，包括零样本迁移学习，预训练，跨语言和双语任务，展望了未来研究的方向。

    Jul, 2021

  • 使用大规模多语言预训练语言模型实现临床领域实际零 - shot 神经机器翻译

    本文研究了大规模多语言预训练语言模型是否可以应用于全新的语言对和领域的零 - shot 机器翻译，实验证明对于在其原始预训练语料库中没有包含的英 - 西语言对的临床数据的微调非常成功，是 MMPLMs 实现真正的零 - shot NMT 在临床领域的首次研究。

    Oct, 2022

  • 探索 LLM 训练中跨语言对齐的出现

    多语言大型语言模型通过隐式对齐语言和神经元重叠达到零 - shot 跨语言转移性能，本研究使用内在探测技术通过检查点观察到神经元重叠和下游性能之间的高相关性，同时探测到预训练过程中隐式对齐和多语言能力的退化现象，为多语言预训练动态提供了新的见解。

    Jun, 2024

  • 分析监督式 NLP 任务中的零样本跨语言迁移

    本文论述了跨语言零 - shot 迁移的问题，并通过对 XLM-RoBERTa 进行实验，研究机器阅读理解、情感分析和句子嵌入对跨语言迁移的影响。发现跨语言迁移在语义文本相似度检验（STS）中表现最强，情感分析次之，机器阅读理解中表现最弱。

    Jan, 2021

  • 基于跨语言预训练的零 - shot 神经机器翻译迁移

    通过跨语言预训练的双语预训练方法，建立了通用编码器，将传递者和接受者的语言空间对齐，使得零翻译成为可能。实验结果表明，该方法显著优于强的基准线和各种多语言 NMT 方法。

    Dec, 2019

  • 跨语言转移的高效语言特定模型精简

    提出从大规模多语言 Transformer 中提取压缩的、语言特定的模型的方法，通过二阶段稀疏精调生成双语模型，从而在目标语言性能方面表现出最小的降级而且速度更快。

    Jun, 2023

  • 跨语言语言模型预训练

    本文提出了两种跨语言学习模型的方法 (XLMs): 一种是仅依赖于单语数据的无监督方式， 另一种是利用新的跨语言模型目标并使用平行数据的有监督方式。通过这些方法在跨语言分类、无监督和有监督机器翻译中取得了最先进的结果。

    Jan, 2019

  • 无监督跨语言适应：序列标注和更多

    研究了零样本学习和基于翻译的方法在预训练语言模型（mPTLMs）的跨语言适应性中的应用，提出了一种新的框架来整合这两种方法，通过定制一个预热机制来快速更新 mPTLMs，应用于细化的参数上进行跨语言适应性的实验结果表明，我们的方法有助于各种序列标注任务的跨语言适应性。

    Oct, 2020