Oct, 2023

EMMA-X：一种 EM 样本的多语言预训练算法，用于跨语言表示学习

PDF
TL;DR提出 EMMA-X: 一种基于 EM 模型的多语种预训练算法，通过大规模非平行数据学习跨语言的通用语义，实现语义关系预测和跨语言表示学习的统一，取得了最新技术的表现。
universal semanticscross-lingualemma-xmultilingual pre-trainingsemantic relation prediction
发现论文，激发创造
  • EMS: 高效有效的大规模多语言句子表示学习

    通过跨语言重建和句子级对比学习，提出了一种有效的高效多语句子表示学习算法 EMS，不依赖于大规模预训练模型，能显著减少并行句子和 GPU 计算资源的使用，支持 62 种语言，在双语挖掘、零样本跨语言流派分类和情感分类方面，该模型显著获得更好或相当的效果。

    May, 2022

  • 跨语言语言模型预训练

    本文提出了两种跨语言学习模型的方法 (XLMs): 一种是仅依赖于单语数据的无监督方式， 另一种是利用新的跨语言模型目标并使用平行数据的有监督方式。通过这些方法在跨语言分类、无监督和有监督机器翻译中取得了最先进的结果。

    Jan, 2019

  • 通过单语语料库对跨语言语义进行对齐，增强多语言表示能力的 ERNIE-M 模型

    本研究提出了 ERNIE-M 模型，采用反向翻译技术产生伪平行语料，从而增强跨语言模型的语义建模能力，并经过实验证明，相对现有跨语言模型，ERNIE-M 能够更好地适用于跨语言任务。

    Dec, 2020

  • 无监督多语言句子嵌入用于平行语料挖掘

    本研究提出了一种新的无监督方法，通过使用单语数据来获得跨语言句子嵌入，产生了合成平行语料库，使用预训练的跨语言掩码语言模型（XLM）对其进行微调以得到多语言句子表示，并在两个平行语料库挖掘任务上评估了表示的质量，结果表明，这种方法可以比基准 XLM 模型获得高达 22 个 F1 点的改进。此外，我们还观察到，单个合成的双语语料库能够改善其他语言对的结果。

    May, 2021

  • 多任务双编码器模型学习跨语言句子表示

    探索了一种使用双编码器学习跨语言句子表示的自然环境，以克服多语言神经语言建模中标记化非英语数据的缺乏，并在许多单语、跨语言、零样本 / 少样本学习任务上对跨语言表示进行了全面评估，并分析了不同的跨语言嵌入空间。

    Oct, 2018

  • 借助语言对齐将大型语言模型推广到非英语语境

    通过建立语言间的语义对齐，提出通过使用非英语训练数据来增强预训练大型语言模型在非英语语言上的能力，并通过实验结果证明此方法在六种非英语语言上超过英语模型 42.50%，在汉语人文任务上超过英语模型 8.2%。同时发现，使用非英语文本作为翻译数据的目标端特别有效，且随着翻译任务数据规模的扩大，语言模型内部的语义对齐能够进一步加强。

    Aug, 2023

  • 大规模跨语言无监督表示学习

    通过在 100 种语言上使用超过 2TB 的 CommonCrawl 数据对基于 Transformer 的掩蔽语言模型进行大规模的预训练，该模型命名为 XLM-R，显著优于 mBERT，在跨语言基准测试中实现了 + 14.6％和 + 13％的平均准确性和 F1 分数，并改善了 10 个低资源语言的准确性，显示了前景。

    Nov, 2019

  • Emu: 利用语义专业化增强多语言句子嵌入

    Emu 是一个可在多语言中加强句子语义的系统，其利用语义分类器和语言鉴别器两大主要组件对预训练的多语言句子嵌入进行微调，以提高相关句子的语义相似度和通过多语言对抗式训练来增强多语言性能，并经多种语言对的实验结果表明，在仅使用单语标记数据的情况下，我们专门的嵌入模型在跨语言意图分类任务上优于最先进的多语言句子嵌入模型。

    Sep, 2019

  • 运用跨语言专业语言模型破解多语言的诅咒

    跨语言专家语言模型在同等计算资源下优于其他多语言模型，提供性能改进的同时适应新语种，且具有异步训练的优势，减少硬件需求和推广多语言建模。

    Jan, 2024

  • 跨语言学习通用表征

    本文介绍了一种基于 Hierarchical Contrastive Learning 的方法，用于学习句子级别的跨语言表示方法，在 XTREME 任务和机器翻译任务中实验表明，该方法可以显著提高模型准确性。

    Jul, 2020