EMNLPSep, 2021

共享嵌入空间中跨语言性的大规模多语言分析

PDF
TL;DR本文研究了跨语言模型中影响句子级别对齐的语言和非语言因素，并使用 BERT 和 BiLSTM 模型和《圣经》作为语料库进行了比较分析，结果表明，词序一致性和形态复杂度一致性是跨语言性的两个最强的语言预测因素。
cross-lingual language modelsalignmentlinguistic predictorstraining datamorphological complexity
发现论文，激发创造
  • 共享跨语言空间中的对齐探索

    利用聚类方法探索多语言模型中的潜在概念，研究多语言嵌入之间的对齐和重叠程度，通过引入两个度量指标 CA 和 CO 进行定量分析，发现网络的深层对齐性较好，模型的微调增强了潜在空间中的对齐性，任务特定的校准有助于解释模型的零射击能力的出现。

    May, 2024

  • 探索 LLM 训练中跨语言对齐的出现

    多语言大型语言模型通过隐式对齐语言和神经元重叠达到零 - shot 跨语言转移性能，本研究使用内在探测技术通过检查点观察到神经元重叠和下游性能之间的高相关性，同时探测到预训练过程中隐式对齐和多语言能力的退化现象，为多语言预训练动态提供了新的见解。

    Jun, 2024

  • 来自平行句子的稳健跨语言嵌入

    提出一种基于双语 CBOW 方法的联合学习方法，通过利用句子对齐语料库获得强健的跨语言词和句子表示，显著提高了跨语言句子检索性能，并在维持单词翻译方面与最先进的方法并驾齐驱，同时在零 - shot 跨语言文档分类任务方面达到深度 RNN 方法的水平，对单语词向量的提高优势明显。

    Dec, 2019

  • 诱导语言无关的多语言表示

    本研究提出三种方法以提高跨语言表示的效果，包括将目标语言的向量空间重新对齐到源语言，去除语言特异性的均值和方差，以及通过去除形态和句子重新排序来增加跨语言相似性。研究发现，这些方法联合使用可以降低跨语言转移障碍。

    Aug, 2020

  • 利用词对齐改进低资源语言的跨语言句子嵌入

    跨语言句子嵌入领域最近取得了很大的进展，但是由于平行语料的稀缺性，对于低资源语言的研究相对滞后。本文表明当前模型中低资源语言的跨语言词表示与高资源语言的对齐程度明显不足。为了解决这个问题，我们引入了一种新的框架，通过使用现成的词对齐模型，显式地对英语和八种低资源语言之间的单词进行对齐。该框架包含三个主要的训练目标：对齐的单词预测、单词翻译排序，以及广泛使用的翻译排序。我们通过在双语检索任务上进行实验证明了我们的方法，该方法在低资源语言的句子嵌入上取得了显著的改进。此外，所提出模型在高资源语言上更广泛任务的竞争性表现凸显了其实用性。

    Apr, 2024

  • 跨语言词嵌入模型调查

    本文综述了跨语言词向量模型的具体类型，比较它们的数据需求和目标函数，并讨论了如何对跨语言词向量模型进行评估和未来研究的挑战。

    Jun, 2017

  • 跨语言单词嵌入模型的实证比较

    通过系统比较四种不同的方法，本研究对于在四个不同语言对上诱导跨语言词向量的方法进行了评估，包括内在评估和外在评估，并展示在某些任务上，廉价监督模型的性能是有竞争力的。

    Apr, 2016

  • BERT 多语言模型的时间？分离跨语言传输的关键要素

    该论文在多语言语言模型上进行了大规模实证研究，并发现词嵌入的对齐程度与零 - shot 迁移的性能密切相关，因此需要在多语言模型中专门改善词嵌入的对齐程度。

    Oct, 2021

  • 跨语言对齐的理解 -- 综述

    近年来，跨语言对齐是多语言语言模型研究的一个活跃领域。本文概述了改进跨语言对齐的技术方法，并总结了该领域的见解。我们提供了对大量论文的定性总结结果。最后，我们讨论了这些见解不仅适用于已经深入研究这一主题的编码器模型，还适用于编码器 - 解码器甚至只有解码器的模型，并指出平衡语言中立和语言特定信息的有效权衡是关键。

    Apr, 2024

  • 句子嵌入的线性跨语言映射

    本文讨论了跨语言句子嵌入向量表示句子语义的方法，并提出了通过简单的线性跨语言映射以及正交性偏差条件的度量来改善多语言嵌入向量。

    May, 2023