Aug, 2020

诱导语言无关的多语言表示

PDF
TL;DR本研究提出三种方法以提高跨语言表示的效果，包括将目标语言的向量空间重新对齐到源语言，去除语言特异性的均值和方差，以及通过去除形态和句子重新排序来增加跨语言相似性。研究发现，这些方法联合使用可以降低跨语言转移障碍。
cross-lingual representationsmultilingual embeddingsvector space re-alignmenttext normalizationcross-lingual transfer gap
发现论文，激发创造
  • 预训练多语言表示的语言中立性

    本文研究了多语种上下文嵌入的语言中性和词汇语义，提出了两种实现更强语言中性的方法，并展示了在不使用平行数据的情况下如何达到语言识别的最新准确率以及匹配平行句子的词对齐统计方法的性能。

    Apr, 2020

  • 发现用于语言无关的多语言表示的低秩子空间

    在这项工作中，我们提出了一种新的方法，通过从多语言嵌入空间中投影掉语言特定因素，以完全利用语义信息，并消除语言身份信号，从而在语义任务中取得更好的结果。

    Jan, 2024

  • 共享嵌入空间中跨语言性的大规模多语言分析

    本文研究了跨语言模型中影响句子级别对齐的语言和非语言因素，并使用 BERT 和 BiLSTM 模型和《圣经》作为语料库进行了比较分析，结果表明，词序一致性和形态复杂度一致性是跨语言性的两个最强的语言预测因素。

    Sep, 2021

  • 通过中间相遇提升跨语言词嵌入

    本研究中，我们提出了一种修改交叉语言同义词向中心点移动的方法，可通过最初的线性变换对两个不相交的单语向量空间进行对准来有效学习交叉语言词嵌入，并实现更好的交叉语言整合。同时，我们的实验结果表明该方法明显优于现有方法在单语和跨语言评估任务方面的表现。

    Aug, 2018

  • 消除多语言表示中的自我语言偏差的简单有效方法

    采用几何代数和语义空间的新角度，提出 “语言信息移除” 方法，通过从多语种表示中分离语言身份信息，进一步研究语言无关和语义 - 语言信息分离的问题。该方法简单而高效，只使用简单的线性运算，并在多语种嵌入空间的弱对齐模型上实现了近乎 100％的显着性能提高。在 Amazon Reviews 和 XEVAL 数据集上进一步验证，显示该方法能够提高跨语言转移性能。

    Sep, 2021

  • 面向大规模多语言神经机器翻译的信息性语言表示学习

    本研究提出了两种方法，即语言嵌入体现和语言感知多头注意力，以学习信息量丰富的语言表示，从而缓解在多语言神经机器翻译模型中引导翻译的语言令牌的失效问题，并且在两个大规模多语言神经机器翻译数据集上取得了显著的性能提升。同时，进一步的语言类型学预测实验证明，我们的方法学习到的基于矩阵的语言表示可以捕捉丰富的语言类型学特征。

    Sep, 2022

  • 嵌入结构的重要性：比较将多语言词汇适应到新语言的方法

    本研究提出了几种简单的技术，通过替换跨语言词汇为紧凑的特定语言词汇来改善在低资源语言中的性能，以及基于脚本子分布的嵌入重初始化技术在适应多语言模型方面与依赖于辅助模型获得的相似度分数的技术（如焦点方法）相媲美。

    Sep, 2023

  • 跨语言调整上下文词表示对零 - shot 迁移的影响

    本研究使用已训练好的 mBERT 模型对英语模型进行零样本迁移，并尝试采用小型平行语料库进行跨语言调整以提高性能表现，结果表明跨语言调整对不同语言的自然语言处理任务表现效果显著，且可以提高语义相似词汇的嵌入向量距离。

    Apr, 2022

  • 超多语言 LLMs：令牌嵌入的跨语言可解释性

    多语言大型语言模型的跨语言迁移学习是重要的，通过对输入嵌入的相似性进行解释，本研究揭示了语言模型的语言表示，在不同模型族的嵌入中存在语言编码和跨语言语义相似性的差异，这为研究预训练和模型架构对语言表示的影响以及嵌入在语言模型中的跨语言表示的应用提供了机会。

    Nov, 2023

  • 多语言嵌入和跨语言转移中的性别偏见

    本研究关注多语言词向量中的性别偏见对迁移学习的影响，并提出了量化多语言词向量性别偏差的方法。结果表明，不同目标空间上的多语言词向量性别偏差受到不同的影响，对于下游任务的使用提供建议。

    May, 2020