本研究系统地比较了使用 LASER、LaBSE 和 Sentence BERT 预训练的多语言模型从句子中生成文档级表示的方法，证明了对于多语言任务来说，通常使用句子嵌入的巧妙组合要优于将整个文档编码为单个单元，并且说明了虽然简单的句子平均值对于分类任务来说已经有一定的效果，但对于语义任务来说需要更复杂的组合。

Apr, 2023

本研究基于双向 LSTM 神经机器翻译模型探索了基于 transformer 的句子 / 文档嵌入模型 T-LASER，并使用距离约束损失函数增强 NMT 损失函数，提升模型在多语言文本处理方面的性能。

Aug, 2020

本研究使用 LASER 工具包，基于编码 - 解码结构训练平行语料库，直接对多语言句子进行表征和过滤，通过与其他方法对比结果表明其在低资源及无资源情况下具有良好效果。

Jun, 2019

我们引入了 SONAR，一个新的多语言和多模态的固定大小句子嵌入空间，在 xsim 和 xsim++ 多语言相似性搜索任务中，我们的单一文本编码器涵盖 200 种语言，表现明显优于现有的句子嵌入如 LASER3 和 LabSE。我们还提供了一个文本解码器，涵盖 200 种语言，可以执行文本到文本和语音到文本的机器翻译，包括零射语言和模态组合。尽管固定大小的瓶颈表示，我们的文本到文本结果与最先进的 NLLB~1B 模型相媲美，我们的零射语音到文本翻译结果与强大的有监督基线如 Whisper 相比也表现得出色。

Aug, 2023

在本研究中，我们采用回顾性方法，对比了 5 种现有的句子编码器，即 Sentence-BERT、Universal Sentence Encoder (USE)、LASER、InferSent 和 Doc2vec，在下游任务表现和捕获基本语义特征能力方面的表现。我们评估了这五种句子编码器在受欢迎的 SentEval 基准测试上的表现，发现多个句子编码器在各种受欢迎的下游任务上表现良好。然而，在所有情况下都没有找到一个单一的优胜者，因此，我们设计了进一步的实验来更深入地了解它们的行为。我们提出了四个语义评估标准：复述、同义词替换、反义词替换和句子混乱，并使用这些标准评估了同样的五种句子编码器。我们发现，Sentence-BERT 和 USE 模型通过了复述标准，其中 SBERT 在两者之间更为优越。在同义词替换标准方面，LASER 表现最佳。有趣的是，所有句子编码器都未通过反义词替换和句子混乱的标准。这些结果表明，尽管这些受欢迎的句子编码器在 SentEval 基准测试上表现良好，但它们仍然难以捕捉一些基本的语义特征，因此，在自然语言处理研究中面临严峻的困境。

Sep, 2023

提出一种基于语义和上下文限制的表示增强方法，来改善问题回答模型的强壮性和泛化能力，通过对语义进行扰动和训练增强上下文表示来更好地区分正确答案的上下文线索，实验证明我们的方法在四个对抗性测试集上获得了显著的鲁棒性改善。

Feb, 2022

通过对比学习方法评估句子编码器的鲁棒性，使用字符级、词级和句级攻击检验了模型的稳健性，结果显示模型在扰动数据集上的准确率可下降高达 15％，且当前的分类策略未能充分利用语义和句法结构信息。

Nov, 2023

本文旨在研究预训练语言编码器（ELMo，BERT 和 RoBERTa）在面对自然语法错误时的表现，通过采集真实语法错误和进行对抗性攻击来模拟这些错误对干净文本数据的影响。结果证实，所有测试模型的性能都受到了影响，但影响程度有所不同。此外，我们设计了一个语言接受度任务来揭示它们在识别不符合语法的句子和错误位置方面的能力。本文的结果有助于理解语言编码器对语法错误的鲁棒性和行为。

May, 2020

本文提出了一种用于强化文本检索的逐步学习嵌入模型 (PEG)，通过增加负样本数量、提取难例负样本以及引入逐步学习机制，PEG 在检索真正的正例方面超过了现有的嵌入模型，在大语言模型的应用中具有重要潜力。

Nov, 2023

本文介绍了一种使用最长公共子串筛选相似文本对同时进行预处理和对比学习的预处理框架 GUR，无需标注数据即可在召回基准测试中以检索器的身份优于所有其他预训练基线。

Jun, 2023