EMNLPApr, 2020

SimAlign： 使用静态和上下文嵌入实现高质量的单词对齐，无需并行训练数据

PDF
TL;DR本文提出了一种无需平行数据就能进行词对齐的方法，基于多语言词嵌入，可以用于统计和神经机器翻译以及跨语言注释投影等任务。结果表明，使用词嵌入创建的对齐效果比传统统计对齐器效果更好，即使是在有丰富的平行语料的情况下。
word alignmentsstatistical and neural machine translationmultilingual word embeddingsparallel datamonolingual data
发现论文，激发创造
  • 通过微调平行语料库中的嵌入来进行单词对齐

    该论文探讨了一种嫁接预训练语言模型和平行文本的方法来提高单词对齐质量的方法，提出了从这些微调模型中有效提取对齐信息的新方法，并证明了它们在五种语言对上优于之前的最先进模型，还演示了开源的具备预训练模型的 AWESOME 单词嵌入式多语言编码对齐器的实际性能

    Jan, 2021

  • 静态和上下文多语言嵌入的结合

    本文介绍了一种将静态嵌入和上下文嵌入相结合的方法，通过提取 40 种语言的静态嵌入并使用 VecMap 校准来改善多语言表示，与此同时，应用新颖的持续预训练方法来进一步提高 XLM-R 的表示精度，并在多个复杂语义任务中展现出积极的效果。

    Mar, 2022

  • NMT 衍生的语言中介嵌入的实证分析及其在平行语句识别中的应用

    该研究系统研究了端到端的神经机器翻译的上下文向量作为句子的交互语言表征的功效，并在可比较语料库中取得了较高的平行句子识别准确率。

    Apr, 2017

  • 多语种上下文词表示的对齐

    提出了一种测量和加强上下文嵌入对齐的程序，证明其在分析和改进多语言 BERT 方面非常有用。在我们的对齐程序之后，BERT 在零 - shot 任务中表现显著提高。使用上下文版本的 Word Retrieval 任务，我们发现 BERT 存在系统性缺陷，在我们的对齐程序下得到了纠正。这些结果支持上下文对齐作为理解大型多语言预训练模型的一个有用概念。

    Feb, 2020

  • 上下文词嵌入的跨语言对齐及其在零样本依赖分析中的应用

    本文提出一种使用无监督预训练的深度上下文嵌入的多语言转移方法，可以提高零样本和少样本学习的依赖解析的效果。实验结果表明，该方法在六种测试语言中持续优于之前的最新技术。

    Feb, 2019

  • 分布式词嵌入的无监督对齐

    本文提出一种基于随机优化的方法，利用概率嵌入技术实现了跨领域的编码对齐，可以成功用于无监督单语言嵌入的双语词汇表推断，且在无监督词汇翻译任务中表现优异。

    Mar, 2022

  • 超越离线映射：通过上下文锚定学习跨语言词向量

    本研究提出了一种基于弱监督（仅有相同单词列表）的方法，通过固定目标语言的嵌入并学习与之对齐的源语言的嵌入来解决不同语言的单词嵌入相似性不一致的问题，并在双语词表归纳和 XNLI 任务上取得了较好的结果，相比于传统的映射方法表现更好。

    Dec, 2020

  • 多语句向量的自适应双语对准

    本文介绍了一种自适应双文本对齐系统 AIlign，它利用句子嵌入提取可靠的锚点来引导对齐路径，即使对于平行性不完整且不严格单调的文本也能够实现对齐。在多个数据集上的实验中，我们表明 AIlign 以准线性的复杂度实现了与现有技术水平等效的结果。此外，与 Vecalign 或 Bertalign 等最近的系统不同，AIlign 能够处理仅在局部满足平行性和单调性属性的文本。

    Mar, 2024

  • 上下文感知的跨语言映射

    本文提出了一种基于上下文的跨语言映射技术，利用平行语料库中对齐的句子的平均嵌入来替代单词级别映射，从而实现更好的句子级别跨语言相似性，实验证明该方法能够在句子翻译检索中优于独立于语境的单词映射。

    Mar, 2019

  • 深度生成模型用于联合对齐和词表示

    使用翻译数据作为词表示模型的语义相关学习信号的源，利用翻译中的等价性作为分布式上下文进行联合嵌入和对齐，通过概率归一化的隐变量词汇对齐实现嵌入词，并比较上下文中的词的重叠度。应用于多个语义任务上获得了良好的性能表现。

    Feb, 2018