May, 2022

使用蒸馏句子表示进行低资源语言的双语文本挖掘

PDF
TL;DR通过师生模型训练多种语言的表示，可以在非常低资源的条件下为非洲语言等许多不常见的语言建立有用的文本数据集。
multilingual representation learninglow-resource languagesteacher-student trainingbitext miningafrican languages
发现论文，激发创造
  • 对比学习在低资源语言的双语文本挖掘中的应用

    本文介绍了一种针对低资源语言挖掘高质量双语数据的方法，即使用多负对比损失进行语言模型微调，可以获得更干净的双语数据，实验证明，在高棉语和普什图语等低资源语言数据挖掘方面，该方法明显优于以往的最先进方法。

    Aug, 2022

  • 更好的多语言表示学习：超越以英语为中心的双语语料

    本文介绍了一种构建多语言表示模型的方法，该方法不仅可以与现有的最先进的模型竞争，而且还更加参数高效，从而促进了资源受限情况和实际应用的更好采用。

    Oct, 2022

  • 对比学习的多语言表征蒸馏

    该研究加入对比学习以蒸馏多语言表示，并用于平行语句的质量估计。实验证明，该方法在不同的资源稀少语言上显著优于先前的句子编码器，诸如 LASER 等。

    Oct, 2022

  • 如何实现平衡高效的多语言模型：既保护用户数据，又保持模型性能

    本文提出了一种基于教师 - 学生知识蒸馏的新型多语种训练技术，利用平衡（子采样）数据将单语教师模型的知识蒸馏到一个多语种学生中，可以提高自然语言处理系统中低资源语言的表现。

    Oct, 2022

  • 面向资源匮乏语言的跨语言任务特定表示学习用于文本分类

    使用双向 LSTM 网络与相似度度量的对比损失函数，通过在共同空间中学习资源贫乏和资源丰富句子的表示方法，实现了情感分析和表情符预测等文本分类任务中对资源贫乏语言（如印地语和泰卢固语）和资源丰富语言（如英语和西班牙语）进行有效分类的目标。

    Jun, 2018

  • 用于零样本跨语言传递和更多应用的大规模多语句向量化技术

    该研究介绍了一种以单个 BiLSTM 编码器为基础的多语言句子表示架构，其使用共享的 BPE 词汇表来学习 93 种语言的嵌入表示，并在公开可用的平行语料库上进行了训练。使用英文注释数据进行分类器训练，可将其转移至任何一种语言，且可以在跨语言自然语言推理、文档分类和平行语料库挖掘中取得良好效果。

    Dec, 2018

  • 多任务双编码器模型学习跨语言句子表示

    探索了一种使用双编码器学习跨语言句子表示的自然环境，以克服多语言神经语言建模中标记化非英语数据的缺乏，并在许多单语、跨语言、零样本 / 少样本学习任务上对跨语言表示进行了全面评估，并分析了不同的跨语言嵌入空间。

    Oct, 2018

  • 语言无关的 BERT 句子嵌入

    本研究旨在通过探究多种单语和跨语言表示学习方法，如掩码语言建模，翻译语言建模和双编码器翻译排名等，结合预训练的多语言模型来学习多语言句子嵌入，并成功将其用于多语言文本检索和机器翻译任务中。

    Jul, 2020

  • 自训练上下文嵌入的无监督双语挖掘与翻译

    采用无监督学习方法使用多语言 BERT 创建伪平行语料库以提高机器翻译性能，并在不同任务中获得显著提高。

    Oct, 2020

  • 从双语对齐到多语对齐：无监督平行文本挖掘

    本文提出一种跨语言句子表示的学习方法，介绍了双轴转移的训练策略，并通过实验表明这种策略可以应用于获取具有多语言对齐的句子表示。

    Apr, 2021