Sabiá：葡萄牙语大语言模型

Apr, 2023

Sabiá: Portuguese Large Language Models

Ramon Pires, Hugo Abonizio, Thales Rogério, Rodrigo Nogueira

TL;DR在这篇论文中，我们证明了在目标语言上进行单语言预训练可以显著提高已经广泛训练于多个语料库的模型，并在 14 个葡萄牙语数据集上表现优于基于英语和多语言模型的模型。我们的结果表明，从单语预训练获得的大多数收益来自于领域特定知识。

Abstract

As the capabilities of language models continue to advance, it is conceivable that "one-size-fits-all" model will remain as the main paradigm. For instance, given the vast number of languages worldwide, many of which are low-resource, the prevalent practice is to pretrain a single mode

language models monolingual pretraining portuguese few-shot evaluations domain-specific knowledge

发现论文，激发创造

Sabiá-2: 葡萄牙大规模语言模型的新一代

Sabi'a-2 是一种基于葡萄牙语文本训练的大型语言模型，通过在各种考试中进行评估，包括巴西大学的入学考试、专业认证考试以及各种学科的研究生考试，发现 Sabi'a-2 Medium 在 64 场考试中有 23 场性能超过或与 GPT-4 相当，有 58 场性能超过 GPT-3.5，且专业化能显著提高模型的性能而无需增加大小，使 Sabi'a-2 Medium 的每个标记的价格比 GPT-4 便宜 10 倍，此外，我们发现数学和编码是需要改进的关键能力。

Mar, 2024

Juru：来自可靠来源的巴西合法大型语言模型

通过领域专门化和高质量数据预训练，我们研究了大语言模型的高计算成本问题，发现领域专门化可以降低预训练数据量，但会牺牲同一语言中其他知识领域的性能。这一研究有助于证明预训练数据的选择可以提升大语言模型的性能，从而降低研究成本。

Mar, 2024

LlamaTurk：为低资源语言适应开源生成型大语言模型

通过对英语为主的生成大语言模型进行调整，以适应资源匮乏的语言，并评估了不同的策略，包括持续训练、指导微调、任务特定微调和词汇扩展。结果表明，持续训练改进了语言理解能力，任务特定微调一般提高了下游任务的性能，但扩展词汇未带来实质性的益处。此外，在适应时，较大的模型通过少样本微调可以提高任务性能，而多语言模型在适应时表现不如单语言模型。

May, 2024

从英语到外语：迁移预训练语言模型

本文介绍一种在有限计算预算下将英文预训练模型转移到其他语言的方法，使用单个 GPU，一天内可以获得一种新的外语 BERT 基础模型，并在六种语言上展示该方法在零样本任务上比多语言 BERT 更为有效的结果。

Feb, 2020

语言模型：少样本多语言学习者

通过对 GPT 和 T5 模型进行跨语言分类，本论文发现预训练模型在少量英语样本的情况下可以预测非英语测试样本，且在跨语言预测方面表现显著优于随机预测，并与现有的最先进的跨语言模型具有竞争力。

Sep, 2021

语言污染现象解释英语预训练模型的跨语言能力

本文研究预训练语言模型在跨语言转移方面的表现，发现常见的英文预训练集中包含大量非英文文本，即使数量仅占不到 1%，也会导致大规模数据集中有数亿个外语词汇。作者还展示了即使是这些少量的非英文数据，也能够促进模型在目标语言上的跨语言转移，并且目标语言性能与预训练中见到的该语言数据量强相关。因此，我们认为在评估跨语言转移时，应该考虑到预训练模型不是真正的单语言模型。

Apr, 2022

ptt5-v2：对 T5 模型在葡萄牙语上的持续预训练的深入研究

本文介绍了继续预训练 T5 模型的研究，特别是在葡萄牙语方面的应用及其对下游任务的影响，通过实验和优化配置获得了令人满意的结果。

Jun, 2024

波斯思维：一个跨语言的波斯 - 英语大语言模型

通过在 LLaMa2 的词汇表中添加 10,000 个波斯语标记并在包含近 20 亿波斯语标记的数据集上进行训练，我们展示了我们的方法既保留了模型的英语知识，又利用了迁移学习在不同语言之间传递任务知识的优势。

Jan, 2024

使用大语言模型引导多语言语义分析器

使用大型语言模型通过少量提示将英文数据集转化为多种语言，以实现多语言语义解析，并在两个公共数据集上与传统的翻译 - 训练方法进行比较，表明使用 LLM 更有效。

Oct, 2022

利用预训练模型进行非洲新闻翻译：几千个翻译蓝本助力一步到位

本研究探讨了如何使用预先训练的大型模型来创建 16 种非洲语言的低资源翻译系统，并发现对于转化到新领域和语言的最有效策略是在高质量翻译数据上微调预先训练好的大型模型。

May, 2022