为促进葡萄牙语的神经编码和数字化时代技术准备，我们开发了一种名为 Albertina PT-* 的基于 Transformer 的编码器，并在欧洲葡萄牙语和巴西葡萄牙语方言的领域设立了最先进的技术水平，在借鉴 DeBERTa 强大模型的基础上，使用了葡萄牙语数据集进行了预训练。我们免费分发 Albertina PT-PT 和 PT-BR 并采用最宽松的许可证，好让它们能够在便携的硬件设备上运行，以推动对葡萄牙语言技术的研究和创新。

May, 2023

为了促进葡萄牙语的神经编码，本论文提出了一些基础的编码器模型，这些模型是为这种语言开发的大型语言模型稀缺的生态系统的扩展，而且都是免费开放的，可以用于任何目的，包括研究和商业用途。此外，我们还获得了对其生态系统有意义的进一步结果，即基于 SuperGLUE 基准的葡萄牙语新数据集，我们也进行了开放分发。

Mar, 2024

通过 Gl'orIA 这一强大的欧洲葡萄牙语解码器 LLM，在多个下游任务中，Gl'orIA 在语言模型和生成有丰富知识且连贯的葡萄牙语文本方面远优于现有的 PT 解码模型。

Feb, 2024

这篇文章介绍了针对加利西亚语的两个生成式大型语言模型，通过减少数据限制以及使用人工评估和任务数据集的方法，这些模型展现出良好的性能，强调了在生成式模型中语言多样性的重要性。

Jun, 2024

通过 Transformer 神经网络构建了一个训练于大量巴西葡萄牙语言音资料上的声学模型，使用预训练技术细调该模型并在呼吸不足检测、性别识别和年龄组分类三个任务中表现出显著提升，尤其在呼吸不足检测方面取得了迄今为止最好的结果，显示出这种声学模型作为语音生物标志物研究的有希望工具。此外，性别识别的性能与英文的最先进模型相媲美。

Dec, 2023

本文介绍了在西班牙语语料库上预训练的著名编码器 - 解码器架构 ——BART、T5 和 BERT2BERT 风格模型。通过对各种序列到序列任务（包括摘要、改写和生成式问答）的综合评估，我们发现所有模型的性能竞争力，其中 BART 和 T5 在所有评估任务中表现最好。此外，我们还将所有模型公开提供给研究社区，促进西班牙语语言处理领域的未来探索和发展。

Sep, 2023

为了在低资源环境下利用，开发了两种紧凑的巴西葡萄牙文本生成模型，发布在 GitHub 和 Hugging Face 上供社区使用和进一步开发。

Jan, 2024

本文提出使用雅可比和高斯 - 塞德尔迭代方法对机器翻译的标准贪心自回归解码进行并行重构，以解决 transformers 对机器翻译的效率问题，实现了速度提高，而翻译质量保持。三种并行解码算法被提出并在不同语言和模型上进行了测试，速度提升最多可达 38％，在并行资源上实现的速度几乎达到 2 倍。同时，为了更好地理解模型的条件依赖关系和检查解码过程，提出了解码依赖图可视化器（DDGviz）

May, 2023

Sabi'a-2 是一种基于葡萄牙语文本训练的大型语言模型，通过在各种考试中进行评估，包括巴西大学的入学考试、专业认证考试以及各种学科的研究生考试，发现 Sabi'a-2 Medium 在 64 场考试中有 23 场性能超过或与 GPT-4 相当，有 58 场性能超过 GPT-3.5，且专业化能显著提高模型的性能而无需增加大小，使 Sabi'a-2 Medium 的每个标记的价格比 GPT-4 便宜 10 倍，此外，我们发现数学和编码是需要改进的关键能力。

Mar, 2024

该论文介绍了基于 RoBERTa 架构的 PeLLE 模型系列，用于巴西葡萄牙语，使用来自 Carolina 语料库的筛选的开放数据进行训练。我们描述了模型的预训练细节，通过对比大型与精选预训练模型在多个下游任务中的性能，我们评估了 PeLLE 模型。我们得出结论，更大的模型在一些任务中表现更好，但一些任务从使用精选的数据进行预训练中受益。

Feb, 2024