ACLJun, 2023

WSPAlign：基于大规模弱监督跨度预测的单词对齐预训练

PDF
TL;DRWSPAlign 是一个有效的预训练单词对齐算法，可通过大规模的弱监督数据进行训练，无需手动数据标注，并实现了与当前方法竞争的结果，尤其对于低资源语言而言表现出潜在的实用性。
word alignmentsupervised learningpre-traininglow-resource languageslarge-scale dataset
发现论文，激发创造
  • 基于多语言 BERT 的跨语言跨度预测监督式词对齐方法

    本文提出了一种基于跨语言跨度预测的新型监督词对齐方法，使用基于多语言 BERT 的 SQuAD v2.0 风格问答任务解决了此问题，并在中英、日、德、罗、法等五个词对齐数据集上实验证明，该方法显著优于以前的监督和非监督方法，而无需使用双语语料进行预训练。

    Apr, 2020

  • 通过微调平行语料库中的嵌入来进行单词对齐

    该论文探讨了一种嫁接预训练语言模型和平行文本的方法来提高单词对齐质量的方法，提出了从这些微调模型中有效提取对齐信息的新方法，并证明了它们在五种语言对上优于之前的最先进模型，还演示了开源的具备预训练模型的 AWESOME 单词嵌入式多语言编码对齐器的实际性能

    Jan, 2021

  • 通过自标注的词对齐改进预训练的跨语言语言模型

    该研究探讨了使用去噪词对齐作为新的跨语言预训练任务的方法，通过在双语对中进行自我标注的单词对齐，结合指针网络来预测清理片段中被屏蔽的单词及其在另一种语言中的对应单词，并在期望值最大化的方式下交替进行两个步骤，实验结果表明该方法在各种数据集上提高了跨语言可传递性。

    Jun, 2021

  • 面向情感分析的词语和句子级情感感知预训练

    本文提出了一种新的基于情感的预训练语言模型 SentiWSP，结合了单词级别和句子级别的预训练任务，通过基于生成对抗网络的替换情感单词检测和对比学习的方法，使得该模型在情感分析任务中达到了最新的最佳性能表现。

    Oct, 2022

  • 双语对齐预训练用于零样本跨语言转移

    本文提出了一种利用统计对齐信息作为先验知识以指导跨语言词语预测的预训练任务 Word-Exchange Aligning Model（WEAM），并在多语种机器阅读理解任务 MLQA 和自然语言接口任务 XNLI 上进行评估，结果表明 WEAM 可以显著提高零 - shot 性能。

    Jun, 2021

  • 通过对齐稀疏上下文化词表示来解决跨语言词义消岐中的多语言问题

    我们提倡在跨语言零 - shot 词义消歧中使用大型预训练单语语言模型，并结合一种上下文映射机制。我们通过字典学习过程获得了稀疏上下文化词表示，并进行了严格的实验，证明了上述改进带来了显著的提升，平均 F 分数增加了近 6.5 个百分点（从 62.0 增加到 68.5），涵盖了 17 种语言。我们在此网址发布了复制实验的源代码。

    Jul, 2023

  • 自然语言处理中预训练模型自动对齐的价值：满足低资源语言需求

    本文旨在探寻现代对齐器在未知语言上的表现，并且通过两个下游任务对其结果进行了外部验证，发现尽管基于转换器的方法通常优于传统模型，但这两种方法仍然在技术上互相竞争。

    Feb, 2023

  • 预训练语言模型的跨度微调

    本文提出了一种新颖的跨度微调算法，利用基于卷积神经网络的层次结构增强了预训练语言模型，并在 GLUE 基准下显著提升了其性能。

    Aug, 2021

  • 利用词对齐改进低资源语言的跨语言句子嵌入

    跨语言句子嵌入领域最近取得了很大的进展，但是由于平行语料的稀缺性，对于低资源语言的研究相对滞后。本文表明当前模型中低资源语言的跨语言词表示与高资源语言的对齐程度明显不足。为了解决这个问题，我们引入了一种新的框架，通过使用现成的词对齐模型，显式地对英语和八种低资源语言之间的单词进行对齐。该框架包含三个主要的训练目标：对齐的单词预测、单词翻译排序，以及广泛使用的翻译排序。我们通过在双语检索任务上进行实验证明了我们的方法，该方法在低资源语言的句子嵌入上取得了显著的改进。此外，所提出模型在高资源语言上更广泛任务的竞争性表现凸显了其实用性。

    Apr, 2024

  • 多语言词嵌入的无监督超级对齐

    本文研究了将在多种语言中学习到的连续单词表示对齐到一个共同空间的问题，并提出了一种新的方案来保证映射的组合性，从而在维持直接单词翻译的竞争性表现的同时，实现了间接单词翻译的更好对齐。

    Nov, 2018