ACLMay, 2023
跨语言句子嵌入的双重对齐预训练
Dual-Alignment Pre-training for Cross-lingual Sentence Embedding
Ziheng Li, Shaohan Huang, Zihan Zhang, Zhi-Hong Deng, Qiang Lou...
TL;DR我们提出了一种双重对齐预训练框架 (DAP),它结合了句级和令牌级对齐,用于跨语言句子嵌入,其中引入了一种表示翻译学习 (RTL) 任务来将翻译信息嵌入到令牌表示中。在三个跨语言基准测试上进行了广泛实验,表明我们的方法能够显著提高句子嵌入。