EMNLPApr, 2021

一种使用预先训练的自编码器进行跨语言语言转换的简单几何方法

PDF
TL;DR本文研究了在多语言训练中的强大的语句编码器，探讨了是否可以通过几何映射来间接地操纵语言属性，并用预训练的多语言自编码器验证了该方法的有效性。
发现论文，激发创造
  • 语言嵌入：用于语言类型学和跨语言迁移学习

    本研究探究是否可以通过学习表示语言之间关系的语言表示来进行跨语言任务，而无需使用平行数据。使用去噪自编码器产生 29 种语言的密集嵌入，并在零样本情况下使用 WALS 和两个外部任务（跨语言依赖解析和跨语言自然语言推理）来评估嵌入。

    Jun, 2021

  • 在潜藏度量空间中学习多语言词向量：一种几何方法

    本文提出了一种新的几何方法，通过单语嵌入和双语词典学习双语映射，并将其建模为平滑的黎曼流形上的优化问题，旨在解决双语词典感应和多语言学习中的问题。该方法分解了学习源语言到目标语言的变换，包括学习用于将语言特定的嵌入旋转到公共空间的旋转以及学习在公共空间中对嵌入之间相似性进行建模的相似性度量。结果表明，该方法在双语词典感应和跨语言词相似性任务上优于以前的方法，同时还将该框架推广到了多种语言的共同潜在空间表示上，展示了联合学习处理多语言问题的有效性。

    Aug, 2018

  • 一种自编码器学习双语词表示的方法

    本文探讨了不依赖词级对齐的跨语言自编码器方法，学习在两种语言之间对齐的词矢量表示，并提出了一种显式的相关性最大化正则化器来提高性能，并在跨语言测试分类问题上进行了实证研究，其结果与现有研究表现相当甚至取得了 10-14 个百分点的提高。

    Feb, 2014

  • 基于对抗自编码器的无平行语料跨语言分布式表示学习

    研究使用对抗自编码器从单语言分布中学习向量表示法，以实现不同自然语言间的向量兼容性，初步结果表明该技术可用于跨语言句子表达。

    Aug, 2016

  • 利用语言模型和降噪自编码器改善无监督逐字翻译

    本文提出了简单而有效的方法，通过使用单语语料库而无需任何回译来改善跨语言嵌入的逐字翻译，并结合语言模型和噪声自编码器来提高其翻译性能，分析了词汇量和去噪类型对翻译效果的影响。

    Jan, 2019

  • 超多语言 LLMs：令牌嵌入的跨语言可解释性

    多语言大型语言模型的跨语言迁移学习是重要的，通过对输入嵌入的相似性进行解释，本研究揭示了语言模型的语言表示，在不同模型族的嵌入中存在语言编码和跨语言语义相似性的差异，这为研究预训练和模型架构对语言表示的影响以及嵌入在语言模型中的跨语言表示的应用提供了机会。

    Nov, 2023

  • 句子嵌入的线性跨语言映射

    本文讨论了跨语言句子嵌入向量表示句子语义的方法，并提出了通过简单的线性跨语言映射以及正交性偏差条件的度量来改善多语言嵌入向量。

    May, 2023

  • 通过自编码学习双语句子嵌入并使用多层感知器计算相似度

    本文提出一种新型模型架构及培训算法，可从平行和单语数据的组合中学习双语句子嵌入。我们通过自编码和神经机器翻译将源语言和目标语言的句子嵌入连接起来。并通过多层感知机来提取非平行或有噪声的双语句对，此方法在句子对齐和 WMT2018 上表现出有希望的性能。

    Jun, 2019

  • 多任务双编码器模型学习跨语言句子表示

    探索了一种使用双编码器学习跨语言句子表示的自然环境，以克服多语言神经语言建模中标记化非英语数据的缺乏，并在许多单语、跨语言、零样本 / 少样本学习任务上对跨语言表示进行了全面评估，并分析了不同的跨语言嵌入空间。

    Oct, 2018

  • 什么是语言无关性？探究多语句子编码器的类型学特性

    本文针对多种多语句子编码器，提出一种探究其对涵盖词汇、形态和句法结构的多种语言特性的表征方法，发现在不同的预训练策略下，编码不同语言特性的效果存在差异。

    Sep, 2020