Feb, 2014

一种自编码器学习双语词表示的方法

PDF
TL;DR本文探讨了不依赖词级对齐的跨语言自编码器方法，学习在两种语言之间对齐的词矢量表示，并提出了一种显式的相关性最大化正则化器来提高性能，并在跨语言测试分类问题上进行了实证研究，其结果与现有研究表现相当甚至取得了 10-14 个百分点的提高。
发现论文，激发创造
  • 使用词袋自动编码器学习多语言单词表示

    本文研究了一种自编码器模型，用于学习多语言单词表示，不需使用单词层面对齐。实验证明，该方法在多语言文档分类方面具有较好的表现，且与利用单词层面对齐的方法相比具有竞争力。

    Jan, 2014

  • 基于对抗自编码器的无平行语料跨语言分布式表示学习

    研究使用对抗自编码器从单语言分布中学习向量表示法，以实现不同自然语言间的向量兼容性，初步结果表明该技术可用于跨语言句子表达。

    Aug, 2016

  • 利用语言模型和降噪自编码器改善无监督逐字翻译

    本文提出了简单而有效的方法，通过使用单语语料库而无需任何回译来改善跨语言嵌入的逐字翻译，并结合语言模型和噪声自编码器来提高其翻译性能，分析了词汇量和去噪类型对翻译效果的影响。

    Jan, 2019

  • 通过自编码学习双语句子嵌入并使用多层感知器计算相似度

    本文提出一种新型模型架构及培训算法，可从平行和单语数据的组合中学习双语句子嵌入。我们通过自编码和神经机器翻译将源语言和目标语言的句子嵌入连接起来。并通过多层感知机来提取非平行或有噪声的双语句对，此方法在句子对齐和 WMT2018 上表现出有希望的性能。

    Jun, 2019

  • 使用离散自编码器进行多义词嵌入的双语学习

    该研究提出了一种使用单语和双语信息学习多义词嵌入的方法，并且发现从双语数据中求得的单词表示在各种评估任务中优于单语表示，尽管测试时不存在跨语言信息。

    Mar, 2016

  • 多任务双编码器模型学习跨语言句子表示

    探索了一种使用双编码器学习跨语言句子表示的自然环境，以克服多语言神经语言建模中标记化非英语数据的缺乏，并在许多单语、跨语言、零样本 / 少样本学习任务上对跨语言表示进行了全面评估，并分析了不同的跨语言嵌入空间。

    Oct, 2018

  • 学习表示双语词典

    该研究提出了一种神经嵌入模型，利用双语词典将文字定义映射到双语目标词汇，探索不同的句子编码技术以及采用多任务学习和联合学习等关键学习策略来增强学习过程，实验结果表明，该模型在跨语言反向字典检索任务和双语释义识别问题上表现优异，并有效地解决了双语释义识别问题。

    Aug, 2018

  • 一种使用预先训练的自编码器进行跨语言语言转换的简单几何方法

    本文研究了在多语言训练中的强大的语句编码器，探讨了是否可以通过几何映射来间接地操纵语言属性，并用预训练的多语言自编码器验证了该方法的有效性。

    Apr, 2021

  • 语言嵌入：用于语言类型学和跨语言迁移学习

    本研究探究是否可以通过学习表示语言之间关系的语言表示来进行跨语言任务，而无需使用平行数据。使用去噪自编码器产生 29 种语言的密集嵌入，并在零样本情况下使用 WALS 和两个外部任务（跨语言依赖解析和跨语言自然语言推理）来评估嵌入。

    Jun, 2021

  • 来自平行句子的稳健跨语言嵌入

    提出一种基于双语 CBOW 方法的联合学习方法，通过利用句子对齐语料库获得强健的跨语言词和句子表示，显著提高了跨语言句子检索性能，并在维持单词翻译方面与最先进的方法并驾齐驱，同时在零 - shot 跨语言文档分类任务方面达到深度 RNN 方法的水平，对单语词向量的提高优势明显。

    Dec, 2019