Mar, 2024

Juru：来自可靠来源的巴西合法大型语言模型

PDF
TL;DR通过领域专门化和高质量数据预训练，我们研究了大语言模型的高计算成本问题，发现领域专门化可以降低预训练数据量，但会牺牲同一语言中其他知识领域的性能。这一研究有助于证明预训练数据的选择可以提升大语言模型的性能，从而降低研究成本。
computational costpretrainingdomain specializationdata selectionlarge language models
发现论文，激发创造
  • Sabiá：葡萄牙语大语言模型

    在这篇论文中，我们证明了在目标语言上进行单语言预训练可以显著提高已经广泛训练于多个语料库的模型，并在 14 个葡萄牙语数据集上表现优于基于英语和多语言模型的模型。我们的结果表明，从单语预训练获得的大多数收益来自于领域特定知识。

    Apr, 2023

  • 基于语言和领域的大型语言模型的预训练和更新：一个日本商业领域的案例研究

    本研究通过结合非英语语言和高需求产业领域的研究，探讨了一种特定于日本商业领域的大型语言模型（LLM）。我们从头开始训练了一个 130 亿参数的 LLM，使用了一组新的商业文本和专利，并持续使用最新的商业文件进行预训练。随后，我们提出了一个新的日本商业领域问题回答（QA）基准，并对我们的模型进行了评估。结果表明，我们的预训练模型提高了 QA 的准确性，并且在不损失一般知识的情况下不断适应新信息。我们的预训练模型和商业领域基准已公开提供。

    Apr, 2024

  • 针对生物医学自然语言处理的领域特定语言模型预训练

    本文通过编制全面的生物医学 NLP 基准测试集，证明了在丰富的未标记文本的领域中，从头开始针对特定领域的预训练语言模型相对于持续预训练通用领域语言模型，能够显著提高生物医学 NLP 任务的效果，并发现一些常用做法不必要。我们为社区发布了我们的最新预训练和任务特定模型，并创建了一个包含我们的 BLURB 基准测试的排行榜。

    Jul, 2020

  • 为低资源语言预训练数据质量和数量：马耳他语新语料库和 BERT 模型

    本文分析了使用单语数据进行预训练对于 mBERT 中未包含的低资源语种（如马耳他语）的效果，并研究了新的马耳他语语料库的大小和域对下游任务性能的影响。研究表明，使用混合预训练域往往优于仅使用维基百科文本，并且只有一小部分的马耳他语语料库就足以在任务性能上取得显著提高。此外，本文还预训练并比较了两个模型：从头开始训练的单语 BERT 模型（BERTu）和进一步预训练的多语言 BERT 模型（mBERTu），这两个模型都在各种下游任务上取得了最先进的性能。

    May, 2022

  • Sabiá-2: 葡萄牙大规模语言模型的新一代

    Sabi'a-2 是一种基于葡萄牙语文本训练的大型语言模型，通过在各种考试中进行评估，包括巴西大学的入学考试、专业认证考试以及各种学科的研究生考试，发现 Sabi'a-2 Medium 在 64 场考试中有 23 场性能超过或与 GPT-4 相当，有 58 场性能超过 GPT-3.5，且专业化能显著提高模型的性能而无需增加大小，使 Sabi'a-2 Medium 的每个标记的价格比 GPT-4 便宜 10 倍，此外，我们发现数学和编码是需要改进的关键能力。

    Mar, 2024

  • Cabrita：弥合外语鸿沟

    通过使用 Portuguese 文本对 3-billion-parameter 模型进行连续预训练，本研究提出了一种名为 Cabrita 的方法，成功解决了性能和高效标记化问题，并以可负担得起的成本实现。

    Aug, 2023

  • SCALE：高级语言模型评估复杂度的扩展

    该研究引入了一个基于瑞士法律系统的多维 NLP 基准测试，包括长文本处理、领域特定知识拥有、多语言理解、多任务等挑战，该基准测试可以用于测试和推广最先进的 LLMs 模型。

    Jun, 2023

  • 针对临床和生物医学文本理解的德语语言模型的综合研究

    本文探讨了如何通过在特定领域数据上进行连续预训练，来适应领域特定需求，以提高医学自然语言处理任务的性能。实验证明，通过在临床数据或翻译文本上进行预训练已被证明是在医学领域适应性优化的可靠方法。

    Apr, 2024

  • 在土耳其临床领域利用 BERT 的力量：有限数据场景下的预训练方法

    本研究旨在探讨语言资源有限情况下，各种预先培训方法对土耳其临床语言模型在涉及放射学报告的多标签分类任务中表现的影响，并通过利用有限的临床任务数据首次评估了同时进行预训练的方法。我们发现，在使用大量通用域语料库的情况下，通用土耳其 BERT 模型和 TurkRadBERT-task v1 表现最佳。此外，本研究还强调了预先训练期间领域特定词汇对于增强模型性能的重要性。

    May, 2023

  • 领域特定预训练模型的重要性：相较通用模型而言

    研究表明，对面向单一领域的数据进行预训练，也可以得到性能强大且经济实惠的替代解决方案，本文以 StackOverflow 为例，使用 SOBertBase 和 SOBertLarge 模型在该领域上预训练，并在 SO 特定的四个下游任务上验证了其表现优于基线和大型通用模型。

    Jun, 2023