Jan, 2024

介绍 Bode：用于葡萄牙语基于提示任务的精细调整大型语言模型

PDF
TL;DR提出了一种基于 LLaMA 2 的经过精调的模型，用于处理葡萄牙语提示，并通过零样本方法在分类任务中进行性能评估，为葡萄牙语提供了令人满意的结果，并且具有研究或商业用途的自由模型。
large language modelsllmsnatural language processingportuguesezero-shot approach
发现论文，激发创造
  • Sabiá：葡萄牙语大语言模型

    在这篇论文中，我们证明了在目标语言上进行单语言预训练可以显著提高已经广泛训练于多个语料库的模型，并在 14 个葡萄牙语数据集上表现优于基于英语和多语言模型的模型。我们的结果表明，从单语预训练获得的大多数收益来自于领域特定知识。

    Apr, 2023

  • TeenyTinyLlama: 开源的巴西葡萄牙语小型语言模型训练

    为了在低资源环境下利用，开发了两种紧凑的巴西葡萄牙文本生成模型，发布在 GitHub 和 Hugging Face 上供社区使用和进一步开发。

    Jan, 2024

  • GlórIA - 一种面向葡萄牙语的生成式和开放性大型语言模型

    通过 Gl'orIA 这一强大的欧洲葡萄牙语解码器 LLM，在多个下游任务中，Gl'orIA 在语言模型和生成有丰富知识且连贯的葡萄牙语文本方面远优于现有的 PT 解码模型。

    Feb, 2024

  • PeLLE: 基于开放数据的巴西葡萄牙语编码器语言模型

    该论文介绍了基于 RoBERTa 架构的 PeLLE 模型系列，用于巴西葡萄牙语，使用来自 Carolina 语料库的筛选的开放数据进行训练。我们描述了模型的预训练细节，通过对比大型与精选预训练模型在多个下游任务中的性能，我们评估了 PeLLE 模型。我们得出结论，更大的模型在一些任务中表现更好，但一些任务从使用精选的数据进行预训练中受益。

    Feb, 2024

  • 比较 LLM 提示与跨语言转移性能对土著和低资源巴西语言的影响

    大型语言模型在低资源语言上的自然语言处理任务上表现较差，并提供了错误分析和实例解释。

    Apr, 2024

  • 大型语言模型在扩展口语理解系统到新语言方面的应用

    介绍了一种使用大型语言模型进行机器翻译的流水线，用于扩展语音助手系统的口语理解模型，提高了多语言场景和设备本地场景下的整体准确率。

    Apr, 2024

  • PORTULAN ExtraGLUE 数据集和模型：启动葡萄牙语神经处理基准测试

    借助对葡萄牙语神经模型的研究，我们提供了一套用于多种语言处理任务的数据集合，以及针对这些下游任务进行细调的神经语言模型集合。通过使用最先进的翻译引擎将数据集从英语机器翻译成葡萄牙语，以与文献中的主流基准相结合，启动了葡萄牙语的对应数据集。由此产生的 PORTULAN ExtraGLUE 基准是未来葡萄牙语研究的基础，可以在后续工作中进行改进。类似地，我们使用低秩适应方法开发的相应细调神经语言模型作为基准可促进葡萄牙语神经处理的未来工作。所有数据集和模型都已开发并可用于葡萄牙语的两个变体：欧洲葡萄牙语和巴西葡萄牙语。

    Apr, 2024

  • Sabiá-2: 葡萄牙大规模语言模型的新一代

    Sabi'a-2 是一种基于葡萄牙语文本训练的大型语言模型，通过在各种考试中进行评估，包括巴西大学的入学考试、专业认证考试以及各种学科的研究生考试，发现 Sabi'a-2 Medium 在 64 场考试中有 23 场性能超过或与 GPT-4 相当，有 58 场性能超过 GPT-3.5，且专业化能显著提高模型的性能而无需增加大小，使 Sabi'a-2 Medium 的每个标记的价格比 GPT-4 便宜 10 倍，此外，我们发现数学和编码是需要改进的关键能力。

    Mar, 2024

  • 评估语言模型中的语言推广能力：面向巴西葡萄牙语的数据集

    本研究提出了一种评估方法，针对用于巴西葡萄牙文的语言模型，通过固定的语言格式，考察语言信息的编码方式，评估不同的语言模型在处理语法结构和多词表达方面的泛化能力，解决了语言模型黑盒且缺乏可解释性的问题。

    May, 2023

  • 用于加利西亚语的开放式生成大型语言模型

    这篇文章介绍了针对加利西亚语的两个生成式大型语言模型，通过减少数据限制以及使用人工评估和任务数据集的方法，这些模型展现出良好的性能，强调了在生成式模型中语言多样性的重要性。

    Jun, 2024