为促进葡萄牙语的神经编码和数字化时代技术准备，我们开发了一种名为 Albertina PT-* 的基于 Transformer 的编码器，并在欧洲葡萄牙语和巴西葡萄牙语方言的领域设立了最先进的技术水平，在借鉴 DeBERTa 强大模型的基础上，使用了葡萄牙语数据集进行了预训练。我们免费分发 Albertina PT-PT 和 PT-BR 并采用最宽松的许可证，好让它们能够在便携的硬件设备上运行，以推动对葡萄牙语言技术的研究和创新。

May, 2023

通过使用一种名为 Gervásio PT * 的完全开放的 Transformers 模型，该模型在神经解码葡萄牙语方面取得了新的技术突破，在本论文中还贡献了新的葡萄牙语的指令数据集，并致力于推动葡萄牙语语言技术的研究和创新。

Feb, 2024

该论文介绍了基于 RoBERTa 架构的 PeLLE 模型系列，用于巴西葡萄牙语，使用来自 Carolina 语料库的筛选的开放数据进行训练。我们描述了模型的预训练细节，通过对比大型与精选预训练模型在多个下游任务中的性能，我们评估了 PeLLE 模型。我们得出结论，更大的模型在一些任务中表现更好，但一些任务从使用精选的数据进行预训练中受益。

Feb, 2024

借助对葡萄牙语神经模型的研究，我们提供了一套用于多种语言处理任务的数据集合，以及针对这些下游任务进行细调的神经语言模型集合。通过使用最先进的翻译引擎将数据集从英语机器翻译成葡萄牙语，以与文献中的主流基准相结合，启动了葡萄牙语的对应数据集。由此产生的 PORTULAN ExtraGLUE 基准是未来葡萄牙语研究的基础，可以在后续工作中进行改进。类似地，我们使用低秩适应方法开发的相应细调神经语言模型作为基准可促进葡萄牙语神经处理的未来工作。所有数据集和模型都已开发并可用于葡萄牙语的两个变体：欧洲葡萄牙语和巴西葡萄牙语。

Apr, 2024

为了在低资源环境下利用，开发了两种紧凑的巴西葡萄牙文本生成模型，发布在 GitHub 和 Hugging Face 上供社区使用和进一步开发。

Jan, 2024

这篇文章介绍了针对加利西亚语的两个生成式大型语言模型，通过减少数据限制以及使用人工评估和任务数据集的方法，这些模型展现出良好的性能，强调了在生成式模型中语言多样性的重要性。

Jun, 2024

我们研究了利用现有的多语言模型进行额外预训练，以确保在克罗地亚语、塞尔维亚语、波斯尼亚语和黑山语这几种密切相关的语言集合中存在具有 10 亿参数的编码器模型的最佳方法，结果显示即使计算量有限，额外预训练可获得与从头开发的模型相当的性能，同时表明邻近语言（如斯洛文尼亚语）的额外预训练几乎不会影响最终模型的性能。

Apr, 2024

通过 Gl'orIA 这一强大的欧洲葡萄牙语解码器 LLM，在多个下游任务中，Gl'orIA 在语言模型和生成有丰富知识且连贯的葡萄牙语文本方面远优于现有的 PT 解码模型。

Feb, 2024

通过 Transformer 神经网络构建了一个训练于大量巴西葡萄牙语言音资料上的声学模型，使用预训练技术细调该模型并在呼吸不足检测、性别识别和年龄组分类三个任务中表现出显著提升，尤其在呼吸不足检测方面取得了迄今为止最好的结果，显示出这种声学模型作为语音生物标志物研究的有希望工具。此外，性别识别的性能与英文的最先进模型相媲美。

Dec, 2023

在这篇论文中，我们证明了在目标语言上进行单语言预训练可以显著提高已经广泛训练于多个语料库的模型，并在 14 个葡萄牙语数据集上表现优于基于英语和多语言模型的模型。我们的结果表明，从单语预训练获得的大多数收益来自于领域特定知识。

Apr, 2023