探讨了 Text-To-Text Transfer Transformer (T5) 语言模型在波兰语 (plT5) 中对短文本段进行内在和外在关键词提取的相关性。通过对新的波兰开放科学元数据语料库（POSMAC）的评估，比较了四种不同方法得到的结果，其中 plT5kw 模型在频繁和稀疏表示关键词方面得到了特别有前途的结果。还讨论了模型在新闻和电话对话稿件的表现，并尝试在内在和外部关键词提取的情况下评价文本模型的挑战。

Sep, 2022

本研究基于 Transformer 模型提出了一个基于多任务的波兰语言解析的测试基准，并介绍了针对该语言的 Transformer 模型 HerBERT，该模型在 9 个任务中表现最好，其中包括命名实体识别和情感分析等多个领域。

May, 2020

使用英语大型语言模型（LLMs）通过微调，成功地生成了波兰文文本，并证明了该方法对于为现有 LLMs 添加新语言是可行的。

Feb, 2024

本文介绍了两个基于流行的 BERT 架构的波兰语语言模型，经过评估，我们的模型在 13 个波兰语语言任务中取得了显著的提高。

Jun, 2020

本研究探讨了数据量和使用类似语言对于机器翻译任务中的迁移学习的影响，研究发现，在迁移学习中，拥有更多的数据通常会导致更好的性能，然而，相关语言在特定语言对的数据有限时也可以特别有效，最终通过使用 OPUS-100 数据集对 mBART 模型进行微调来证明结果。实验表明，相关语言和更多的数据的组合比单独使用两者能够更好的提高模型性能，同时还表明了相关语言在零样本和小样本时的重要性。

Jun, 2023

本文介绍了 mT5，这是 T5 的多语言变体，基于新的基于 Common Crawl 的数据集进行预训练，涵盖 101 种语言，并展示了在许多多语言基准测试中的最新性能。我们还描述了一种简单的技术，用于在零 - shot 设置中防止 “意外翻译”。

Oct, 2020

该研究介绍了波兰大规模文本嵌入基准（PL-MTEB），它是一个包含 28 个不同自然语言处理任务的全面基准，涉及五种任务类型。研究人员通过波兰 NLP 社区先前使用的数据集对这些任务进行了适应。此外，研究人员创建了一个名为 PLSC（波兰科学图书馆语料库）的新数据集，其中包括波兰科学出版物的标题和摘要，用作两个新的聚类任务的基础。他们评估了 15 个可公开获取的文本嵌入模型，其中包括波兰语和多语言模型，并为每个任务类型和整个基准收集了详细结果。PL-MTEB 提供开源代码。

May, 2024

本文研究了两种先前提出的预训练语言模型（PLMs），分析了不同任务自适应预训练策略对图转文本生成中 PLMs 的影响，发现 PLMs BART 和 T5 实现了新的最先进结果，并且任务适应性预训练策略进一步提高了它们的性能。

Jul, 2020

本研究探讨了数据生成文本任务中的预训练和微调策略，实验表明，以 T5 为代表的文本预训练方法使得简单的端到端 Transformer 模型在数据生成文本方面的性能优于传统的神经网络体系结构以及其他预训练技术，如 BERT 和 GPT-2。T5 预训练技术在域外测试集上表现出更好的泛化能力，此研究希望成为未来研究的有益基础，随着转移学习在数据生成文本任务中的广泛应用。

May, 2020

本文介绍了第一项针对波兰语的去构建 BERT 的训练过程的消融研究，其中探讨了跨语言训练和其他因素，最终实现了一个波兰语 BERT 模型 HerBERT，并在多个下游任务中达到了最佳结果。

May, 2021