SwissBERT 是一个针对处理与瑞士有关的文本而创建的掩模语言模型，它是一个预训练模型，适用于瑞士的德语、法语、意大利语和罗曼什语的新闻文章，该模型使用语言适配器，在处理当代新闻和 / 或罗曼什・格里施人时，往往可以比以前的模型更好地完成与瑞士有关的自然语言理解任务，模型和开源代码在公共网址上发布。

Mar, 2023

本文介绍了两种基于 Transformer 和 CNN 模型架构的预训练多语言句子编码模型，并使用基于翻译的桥接任务学习绑定表示将 16 种语言的文本嵌入到单一的语义空间中，以提高检索效率，与最先进的语义检索、翻译检索和检索问题回答模型相竞争，并在某些情况下超越了英文单语句子嵌入模型的表现水平。

Jul, 2019

我们在这项研究中，为土耳其语提供了基于 Transformer 模型的 BERTurk 模型，并进行了多个下游任务的微调和评估，包括命名实体识别、情感分析、问题回答和文本分类。与其他基线方法相比，我们的研究在土耳其语中显著提高了性能，并公开发布了这四个微调模型和资源，以支持其他土耳其研究人员和应用。

Jan, 2024

本文提出了一种无需人工标注的数据集构建方法，使用双语文本语料来 fine-tune Transformer 语言模型，并加入一个循环池层构建出有效的特定语种句子编码器，该方法在单张图形卡上使用不到一天时间训练，在波兰语的八个语言任务上实现了高性能，超越了最好的多语言句子编码器。

Jul, 2022

在这篇研究中，我们使用继续预训练的方法利用现有的多语言编码器，并添加瑞士德语适配器来适应瑞士德语，从而完成了面临的挑战。通过在三个不同的下游任务上进行评估，我们发现仅仅将瑞士德语适配器添加到模块化编码器中就可以实现完全单体化适配性能的 97.5％。此外，对于给定标准德语查询的情况下检索瑞士德语句子的任务，我们发现调整字符级别模型比其他适应策略更为有效。我们将我们的代码和进行实验的模型公开发布于此 https URL。

Jan, 2024

德国 FinBERT 是一种专门针对金融文本数据的新型预训练德语语言模型，通过综合的预训练过程进行训练，利用包括德国公司财务报告、临时公告和新闻在内的大量语料库。评估结果表明，在金融领域数据上，德国 FinBERT 在情绪预测、主题识别和问答等下游任务中表现出了改进的性能，表明其捕捉领域特定细微差别的效果，该研究认为德国 FinBERT 有望成为金融文本分析中有价值的工具，有潜在的应用于金融领域的多个应用场景。

Nov, 2023

本文提出了一种使用对比学习进行监督学习 Fine-tuning 预训练 BERT 模型以创建高效句子嵌入的新方法，相比于只使用基于交叉熵的监督学习的当前最先进方法 SBERT，我们的方法可以在句子转换和语义文本相似度基准测试上改进 2.8％和 1.05％。

Jun, 2021

本研究介绍了一种生成句子嵌入向量的模型，旨在实现到其他自然语言处理任务的迁移学习，并探讨了模型复杂度、资源消耗、迁移任务训练数据可用性和任务性能之间的关系。作者发现句子嵌入迁移学习通常优于单词级别的迁移，并可以在极少量监督训练数据的情况下实现出人意料的良好表现。

Mar, 2018

使用对比学习来微调句子 Transformer 模型，生成科学文章中的句子级嵌入，并将其用于科学文章中的句子分类任务，取得了显著的改进。

Mar, 2024

该论文重点研究了将文本信息构建为有用的嵌入表示，将其作为特征输入职位与求职者匹配模型。作者使用了一种 fine-tuning 的 Siamese Sentence-BERT 模型并解决了多语言和跨语言匹配等挑战。结果表明，作者的模型显著优于现有的基于 TF-IDF 加权特征向量和 BERT 嵌入表示的方法。此外，作者还发现该模型成功匹配了跨语言和多语言的文本内容。

Sep, 2021