Jan, 2022

约束密度匹配与建模：用于跨语言上下文表示对齐

PDF
TL;DR本研究采用密度匹配和密度建模的方法进行多语种词向量的对齐，提出基于 Normalizing Flow 的 Real-NVP 和 GAN-Real-NVP 两种监督学习和无监督学习的密度对齐方法，并通过验证标准来指导训练过程。实验结果表明，我们的方法在有限或没有平行数据的情况下均能显著提高多项 NLP 任务的表现。
multilingual representationsalignment techniquessupervised and unsupervised density-based approachesnormalizing flowvalidation criteria
发现论文，激发创造
  • 利用无监督多语言上下文化表示进行低资源序列标注

    本文提出了多语言语言模型与深度语义对准（MLMA），用于产生跨语言标注的语言无关表示，方法不需要平行数据或一个词一个词匹配，只需要单语语料库，并利用深度上下文表示。实验结果表明，本方法在欧洲语言以及英语和汉语等远距离语言对上实现了新的最新 NER 和 POS 性能。

    Oct, 2019

  • 双语词嵌入密度匹配

    该研究提出了一种新的基于高斯混合模型和标准化流的跨语言词嵌入方法，通过学习两种单语嵌入空间的概率密度，实现跨语言词嵌入。实验结果表明该方法在具有不同语言结构、复杂形态和遥远语系的词性能够实现有效的性能提升。

    Apr, 2019

  • 深度生成模型用于联合对齐和词表示

    使用翻译数据作为词表示模型的语义相关学习信号的源，利用翻译中的等价性作为分布式上下文进行联合嵌入和对齐，通过概率归一化的隐变量词汇对齐实现嵌入词，并比较上下文中的词的重叠度。应用于多个语义任务上获得了良好的性能表现。

    Feb, 2018

  • 组合式分布式语义的多语言模型

    通过基于多语种数据和联合嵌入的分布式假设扩展学习语义表示的新技术，学习出在跨语言上语义等价的句子之间高度对齐而在不相似的句子之间保持足够距离的表示。此方法不仅适用于单词层面，还可以对文档进行语义层面的表示学习。在两个跨语言文档分类任务上，我们的模型都能胜过之前的最佳成果，并通过定性分析和枢轴效应研究证明了我们学习到的语义表示合理且能够捕捉跨语言语义关系。

    Apr, 2014

  • 从双语对齐到多语对齐：无监督平行文本挖掘

    本文提出一种跨语言句子表示的学习方法，介绍了双轴转移的训练策略，并通过实验表明这种策略可以应用于获取具有多语言对齐的句子表示。

    Apr, 2021

  • 无监督深度跨语言实体对齐

    提出了一种简单且新颖的无监督方法，利用深度学习多语言编码器结合机器翻译器对知识图谱文本进行编码，同时考虑全局与局部对齐策略，并生成排名匹配结果。在跨语言实体对齐任务上，我们的方法在 DBP15K 数据集中的中文、日文和法文到英文对齐任务中得到了较高的准确率，超过了无监督和半监督类别的最新方法。与最新的有监督方法相比，在日文到英文和法文到英文对齐任务中，我们的方法分别提高了 2.6% 和 0.4%，在中文到英文对齐任务中略微降低了 0.2%。

    Sep, 2023

  • 跨模态对齐的低资源神经机器翻译

    本文提出一种跨媒体对比学习方法，将几种低资源语言与高资源语言相连，通过少量的图像 - 文本对实现神经机器翻译，取得了显著的效果。

    Oct, 2022

  • 多语言词嵌入的无监督超级对齐

    本文研究了将在多种语言中学习到的连续单词表示对齐到一个共同空间的问题，并提出了一种新的方案来保证映射的组合性，从而在维持直接单词翻译的竞争性表现的同时，实现了间接单词翻译的更好对齐。

    Nov, 2018

  • 正则化表示对齐下的跨语言口语理解

    本篇论文提出了一种基于正则化和对抗训练的跨语言模型，能够在口语理解系统中实现单词层面和句子层面的跨语言表示对齐，并在少量数据和零样本情况下实现比当前最先进方法更好的性能表现。

    Sep, 2020

  • 跨语言对齐与联合训练：比较研究和简单统一框架

    本文研究了两种多语言文本学习方法，即 alignment 和 joint training，并提出了将这两种方法结合的框架。实验证明，该框架改善了现有方法的局限性，在 MUSE 双语词汇诱导（BLI）基准测试中性能优于现有方法，并在 CoNLL 跨语言 NER 基准测试上产生了最新的结果。

    Oct, 2019