使用单语对齐更新预训练词向量和文本分类器

Oct, 2019

使用单语对齐更新预训练词向量和文本分类器

Updating Pre-trained Word Vectors and Text Classifiers using Monolingual Alignment

Piotr Bojanowski, Onur Celebi, Tomas Mikolov, Edouard Grave, Armand Joulin

TL;DR本文中，我们研究了将词向量模型适应到新的文本数据的问题，我们将适应问题转化为单语词向量对齐问题，通过使用 RCSLS 准则对向量进行对齐，再简单地对模型进行平均即可，在词嵌入和文本分类模型应用实验中，我们证明了这种方法能够在所有设置中产生良好的性能，超越了在新数据上进行微调的基线模型。

Abstract

In this paper, we focus on the problem of adapting word vector-based models to new textual data. Given a model pre-trained on large reference data, how can we adapt it to a smaller piece of data with a slightly different language distribution? We frame the adaptation problem as a monol

word vector-based models monolingual word vector alignment general-purpose models word embeddings text classification models

发现论文，激发创造

通过微调平行语料库中的嵌入来进行单词对齐

该论文探讨了一种嫁接预训练语言模型和平行文本的方法来提高单词对齐质量的方法，提出了从这些微调模型中有效提取对齐信息的新方法，并证明了它们在五种语言对上优于之前的最先进模型，还演示了开源的具备预训练模型的 AWESOME 单词嵌入式多语言编码对齐器的实际性能

Jan, 2021

通过自标注的词对齐改进预训练的跨语言语言模型

该研究探讨了使用去噪词对齐作为新的跨语言预训练任务的方法，通过在双语对中进行自我标注的单词对齐，结合指针网络来预测清理片段中被屏蔽的单词及其在另一种语言中的对应单词，并在期望值最大化的方式下交替进行两个步骤，实验结果表明该方法在各种数据集上提高了跨语言可传递性。

Jun, 2021

为 157 种语言学习词向量

本文介绍了一种方法，通过使用来自于维基百科和共同抓取项目的大型数据，并针对 157 种语言训练高质量的词向量。此外，我们还推出了三个新的单词类比数据集，以评估这些词向量。最后，我们针对 10 种有评估数据集存在的语言对我们的预训练词向量进行了评估，显示出与以前模型相比非常强的性能。

Feb, 2018

神经半 - Markov CRF 用于单语词对齐

提供了一种新的神经半 - Markov CRF 对齐模型，它通过可变长度跨度统一了单词和短语对齐，通过人工注释创建了一个新的基准，显示出在现实设置下评估单语言对齐模型的性能，并证明了该模型在自动文本简化和句对分类任务中具有良好的普适性和实用性。

Jun, 2021

预训练后的对齐：通过跨语言对齐提升多语生成模型

通过利用翻译句子对齐内部句子表示，并通过回答不同语言的提示问题对齐模型输出，我们提出了一个简单而有效的对齐框架，显著增强了生成模型的跨语言能力并减小了性能差异。进一步分析表明，它导致了更好的多语言模型的内部多语言表示分布。

Nov, 2023

利用词对齐改进低资源语言的跨语言句子嵌入

跨语言句子嵌入领域最近取得了很大的进展，但是由于平行语料的稀缺性，对于低资源语言的研究相对滞后。本文表明当前模型中低资源语言的跨语言词表示与高资源语言的对齐程度明显不足。为了解决这个问题，我们引入了一种新的框架，通过使用现成的词对齐模型，显式地对英语和八种低资源语言之间的单词进行对齐。该框架包含三个主要的训练目标：对齐的单词预测、单词翻译排序，以及广泛使用的翻译排序。我们通过在双语检索任务上进行实验证明了我们的方法，该方法在低资源语言的句子嵌入上取得了显著的改进。此外，所提出模型在高资源语言上更广泛任务的竞争性表现凸显了其实用性。

Apr, 2024

多语言词嵌入的无监督超级对齐

本文研究了将在多种语言中学习到的连续单词表示对齐到一个共同空间的问题，并提出了一种新的方案来保证映射的组合性，从而在维持直接单词翻译的竞争性表现的同时，实现了间接单词翻译的更好对齐。

Nov, 2018

基于对抗自编码器的无平行语料跨语言分布式表示学习

研究使用对抗自编码器从单语言分布中学习向量表示法，以实现不同自然语言间的向量兼容性，初步结果表明该技术可用于跨语言句子表达。

Aug, 2016

一种用于跨语言词对齐的判别式神经模型

利用新型鉴别性词汇对齐模型，结合变压器机器翻译模型，在少量标注例子下评估英汉及英阿拉伯语言对齐，相比无监督基线模型性能得到提升（11-27 F1）。外部方面，通过对中文命名实体识别（NER）标签的投影，我们验证了对齐模型的有效性。最后，进行消融分析和注释实验，支持未来手动对齐的使用可行性和实用性。

Sep, 2019

双语对齐预训练用于零样本跨语言转移

本文提出了一种利用统计对齐信息作为先验知识以指导跨语言词语预测的预训练任务 Word-Exchange Aligning Model（WEAM），并在多语种机器阅读理解任务 MLQA 和自然语言接口任务 XNLI 上进行评估，结果表明 WEAM 可以显著提高零 - shot 性能。

Jun, 2021