Feb, 2024

PeLLE: 基于开放数据的巴西葡萄牙语编码器语言模型

PDF
TL;DR该论文介绍了基于 RoBERTa 架构的 PeLLE 模型系列，用于巴西葡萄牙语，使用来自 Carolina 语料库的筛选的开放数据进行训练。我们描述了模型的预训练细节，通过对比大型与精选预训练模型在多个下游任务中的性能，我们评估了 PeLLE 模型。我们得出结论，更大的模型在一些任务中表现更好，但一些任务从使用精选的数据进行预训练中受益。
发现论文，激发创造
  • 促进葡萄牙语开放神经编码器生态系统与 Albertina PT * 系列的发展

    为了促进葡萄牙语的神经编码，本论文提出了一些基础的编码器模型，这些模型是为这种语言开发的大型语言模型稀缺的生态系统的扩展，而且都是免费开放的，可以用于任何目的，包括研究和商业用途。此外，我们还获得了对其生态系统有意义的进一步结果，即基于 SuperGLUE 基准的葡萄牙语新数据集，我们也进行了开放分发。

    Mar, 2024

  • Sabiá：葡萄牙语大语言模型

    在这篇论文中，我们证明了在目标语言上进行单语言预训练可以显著提高已经广泛训练于多个语料库的模型，并在 14 个葡萄牙语数据集上表现优于基于英语和多语言模型的模型。我们的结果表明，从单语预训练获得的大多数收益来自于领域特定知识。

    Apr, 2023

  • 评估语言模型中的语言推广能力：面向巴西葡萄牙语的数据集

    本研究提出了一种评估方法，针对用于巴西葡萄牙文的语言模型，通过固定的语言格式，考察语言信息的编码方式，评估不同的语言模型在处理语法结构和多词表达方面的泛化能力，解决了语言模型黑盒且缺乏可解释性的问题。

    May, 2023

  • 西班牙语语言模型评估中得到的经验教训

    本文提供了一份全面的研究报告，比较了用于西班牙语的语言模型，报告显示：先前被忽略的大型跨语言模型比单语模型表现更好，单语模型的结果并不是确定性的，需要进一步研究语料库大小、质量和预训练技术等因素。

    Dec, 2022

  • 用 Transformer Albertina PT-* 推进葡萄牙语的神经编码

    为促进葡萄牙语的神经编码和数字化时代技术准备，我们开发了一种名为 Albertina PT-* 的基于 Transformer 的编码器，并在欧洲葡萄牙语和巴西葡萄牙语方言的领域设立了最先进的技术水平，在借鉴 DeBERTa 强大模型的基础上，使用了葡萄牙语数据集进行了预训练。我们免费分发 Albertina PT-PT 和 PT-BR 并采用最宽松的许可证，好让它们能够在便携的硬件设备上运行，以推动对葡萄牙语言技术的研究和创新。

    May, 2023

  • ELLE: 面向新兴数据的高效终身预训练

    本研究提出了一种名为 ELLE 的模型，旨在通过 PLM 扩展和预训练域提示来实现高效的终身预训练，从而适应不断增长的流式数据，并在 BERT 和 GPT 上进行了实验，结果表明在预训练效率和下游性能方面 ELLE 优于各种终身学习基线。

    Mar, 2022

  • BERT 用于情感分析：预训练和微调的替代方案

    本文进行了一项针对语言模型 BERT 的情感分析任务的实验性研究，重点分析了如何更好地处理 BERT 输出层的不同嵌入以及使用与多语言模型相比更适合巴西葡萄牙语的语言模型的聚合策略和技术，并发现 BERT 在大多数情况下与 TF-IDF 相比取得了更高的预测性能，但 TF-IDF 在预测性能和计算成本之间达到了良好的平衡。

    Jan, 2022

  • GlórIA - 一种面向葡萄牙语的生成式和开放性大型语言模型

    通过 Gl'orIA 这一强大的欧洲葡萄牙语解码器 LLM，在多个下游任务中，Gl'orIA 在语言模型和生成有丰富知识且连贯的葡萄牙语文本方面远优于现有的 PT 解码模型。

    Feb, 2024

  • 介绍 Bode：用于葡萄牙语基于提示任务的精细调整大型语言模型

    提出了一种基于 LLaMA 2 的经过精调的模型，用于处理葡萄牙语提示，并通过零样本方法在分类任务中进行性能评估，为葡萄牙语提供了令人满意的结果，并且具有研究或商业用途的自由模型。

    Jan, 2024

  • 语言模型是通用嵌入器

    大语言模型（LLM）革命中，嵌入是各种系统的关键组成部分。在本文中，我们迈出了迈向构建强大统一的嵌入模型的第一步，证明了多种语言（自然语言和编程语言）的预训练变换器解码器在有限英文数据微调后能够实现普遍嵌入。我们对各任务进行了全面实践和彻底评估，结果表明这是一条有希望的道路，可以应用于不同任务和语言。

    Oct, 2023