最佳多语言文件嵌入是否只是基于句子嵌入？

ACLApr, 2023

最佳多语言文件嵌入是否只是基于句子嵌入？

Are the Best Multilingual Document Embeddings simply Based on Sentence Embeddings?

Sonal Sannigrahi, Josef van Genabith, Cristina Espana-Bonet

TL;DR本研究系统地比较了使用 LASER、LaBSE 和 Sentence BERT 预训练的多语言模型从句子中生成文档级表示的方法，证明了对于多语言任务来说，通常使用句子嵌入的巧妙组合要优于将整个文档编码为单个单元，并且说明了虽然简单的句子平均值对于分类任务来说已经有一定的效果，但对于语义任务来说需要更复杂的组合。

Abstract

Dense vector representations for textual data are crucial in modern nlp. Word embeddings and sentence embeddings estimated from raw texts are key in achieving state-of-the-art results in various tasks requiring s

textual data nlp document-level representations multilingual models semantic tasks

发现论文，激发创造

基于 Transformer 的多语言文档嵌入模型

本研究基于双向 LSTM 神经机器翻译模型探索了基于 transformer 的句子 / 文档嵌入模型 T-LASER，并使用距离约束损失函数增强 NMT 损失函数，提升模型在多语言文本处理方面的性能。

Aug, 2020

来自平行句子的稳健跨语言嵌入

提出一种基于双语 CBOW 方法的联合学习方法，通过利用句子对齐语料库获得强健的跨语言词和句子表示，显著提高了跨语言句子检索性能，并在维持单词翻译方面与最先进的方法并驾齐驱，同时在零 - shot 跨语言文档分类任务方面达到深度 RNN 方法的水平，对单语词向量的提高优势明显。

Dec, 2019

语言无关的 BERT 句子嵌入

本研究旨在通过探究多种单语和跨语言表示学习方法，如掩码语言建模，翻译语言建模和双编码器翻译排名等，结合预训练的多语言模型来学习多语言句子嵌入，并成功将其用于多语言文本检索和机器翻译任务中。

Jul, 2020

句级多模态和语言无关的表示

我们引入了 SONAR，一个新的多语言和多模态的固定大小句子嵌入空间，在 xsim 和 xsim++ 多语言相似性搜索任务中，我们的单一文本编码器涵盖 200 种语言，表现明显优于现有的句子嵌入如 LASER3 和 LabSE。我们还提供了一个文本解码器，涵盖 200 种语言，可以执行文本到文本和语音到文本的机器翻译，包括零射语言和模态组合。尽管固定大小的瓶颈表示，我们的文本到文本结果与最先进的 NLLB~1B 模型相媲美，我们的零射语音到文本翻译结果与强大的有监督基线如 Whisper 相比也表现得出色。

Aug, 2023

用于零样本跨语言传递和更多应用的大规模多语句向量化技术

该研究介绍了一种以单个 BiLSTM 编码器为基础的多语言句子表示架构，其使用共享的 BPE 词汇表来学习 93 种语言的嵌入表示，并在公开可用的平行语料库上进行了训练。使用英文注释数据进行分类器训练，可将其转移至任何一种语言，且可以在跨语言自然语言推理、文档分类和平行语料库挖掘中取得良好效果。

Dec, 2018

层次化文档编码器用于平行语料库挖掘

本研究利用多语言文本嵌入来对平行数据进行最近邻挖掘，通过三种不同的文本层级表示方法，发现用 HiDE 训练产生的文档嵌入结果表现最佳，达到了 UN 平行文档挖掘的最新成果。

Jun, 2019

评估语义变化的句子嵌入模型的比较研究

分析语义变化的模式在长篇实际文本（如书籍或记录）中是有趣的，从文体、认知和语言的角度来看。这项研究也对应用领域，如文本分段、文档摘要和语义新颖性检测是有用的。本文通过时间序列的语义相似性以及多本文学作品的两两句子相似性矩阵比较了几种最近的句子嵌入方法。与以前使用目标任务和精心策划的数据集比较句子嵌入方法的研究不同，我们的方法提供了对方法在现实情境的评估。我们发现，大部分句子嵌入方法确实能够在给定文档中推断出高度相关的语义相似性模式，但也存在有趣的差异。

Aug, 2023

词嵌入再探讨：LLMs 是否提供新的东西？

通过比较经典词嵌入技术与大型语言模型的词嵌入之间的潜在向量语义，系统地调查了大型语言模型是否在表现上与经典编码模型存在显著差异。结果显示，大型语言模型往往比经典模型更紧密地聚集语义相关的词，并在 Bigger Analogy Test Set (BATS) 上取得更高的平均准确率。此外，一些大型语言模型的词嵌入与相对较轻的句子级 BERT (SBERT) 模型相似。

Feb, 2024

通往通用释义句子嵌入的路途

研究使用 Paraphrase Database 监督学习通用的、同义句的句子嵌入，比较 6 种组成结构并在相似度数据集和三个 NLP 任务上进行评估，在领域内复杂的结构（如 LSTM）有更好的性能，但在领域外使用简单架构如词平均比 LSTM 表现更好，同时演示如何将预训练的句子嵌入与监督任务相结合。

Nov, 2015

MCSE: 句子嵌入的多模态对比学习

本文提出了一种基于多模态对比目标的句子嵌入学习方法，利用同时包含视觉和文本信息的数据提高了语义相似性任务的性能，并通过分析文本嵌入空间的性质解释了本方法提高性能的原因。

Apr, 2022