Dec, 2023

波斯语 LLaMA: 迈向建立首个波斯语大型语言模型

PDF
TL;DR本研究介绍了第一个大型波斯语语言模型 PersianLLaMA，在波斯文本和数据集上训练，通过最新的评估方法在波斯文本的生成和理解任务中表现出色，对于发展波斯语自然语言处理，特别是文本生成方面如聊天机器人、问答、机器翻译和文本摘要等任务可作为宝贵资源。
persian languagenatural language processinglarge language modelpersianllamatext generation
发现论文，激发创造
  • 波斯思维：一个跨语言的波斯 - 英语大语言模型

    通过在 LLaMa2 的词汇表中添加 10,000 个波斯语标记并在包含近 20 亿波斯语标记的数据集上进行训练，我们展示了我们的方法既保留了模型的英语知识，又利用了迁移学习在不同语言之间传递任务知识的优势。

    Jan, 2024

  • 波斯语大型语言模型基准测试：关注 ChatGPT 的初步研究

    本文探讨了大型语言模型（LLMs）在波斯语中的有效性。研究发现，虽然 ChatGPT 和其他 LLMs 在英语中表现出色，但它们在资源稀缺的语言上的效率仍然是一个悬而未决的问题。研究通过对各种波斯语任务进行全面的基准测试研究，重点评估了 GPT-3.5-turbo，同时还包括 GPT-4 和 OpenChat-3.5，以提供更全面的评估。研究结果显示，虽然 LLMs，特别是 GPT-4，在需要推理能力和对一般知识的广泛理解的任务中表现出色，但它们通常落后于针对特定任务进行细化调整的较小的预训练模型。此外，研究还观察到将测试集翻译成英语后输入 GPT-3.5 会改善其性能。这些结果突显了提升波斯语中 LLM 性能的重要潜力，这尤其值得注意，因为波斯语具有独特的字母和写作风格。

    Apr, 2024

  • 面向语言建模的大规模多样化阿拉伯语语料库

    这项研究介绍了一个由超过 500GB 的阿拉伯语言清理文本构成的语料库，旨在提高大规模语言模型的跨领域知识和下游泛化能力。此外，该语料库还被用于大型阿拉伯语言模型的训练，在对典型的 NLP 任务进行微调时，与 mBERT 相比表现出 4.5% 至 8.5% 的显着提升，据我所知，这是目前所收集的最大、最清洁、最具多样性的阿拉伯语语料库。

    Jan, 2022

  • 大型语言模型调查

    本文介绍了最近关于预训练语言模型（PLMs）的新进展，重点讨论了大型语言模型的预训练、适应和调整、利用和容量评估四个方面，并讨论了未来研究的问题和方向。

    Mar, 2023

  • ParsiNLU: 波斯语语言理解挑战套件

    本文介绍第一个波斯语 NLU 基准数据集 ParsiNLU，并在此基础上与人类表现进行比较，为波斯语理解的研究和进展提供了有价值的洞察力。

    Dec, 2020

  • 翻译困境：大型语言模型在非英语内容分析中的应用

    本文介绍了多语种语言模型的工作原理及其在语言分析和生成方面的能力和局限性，并提供了关于开展大型和多语种语言模型研究、开发和部署时的建议。

    Jun, 2023

  • AraMUS: 将数据和模型规模的极限推向阿拉伯语自然语言处理

    本文介绍 AraMUS—— 最大的预训练阿拉伯语言模型，基于 529GB 高质量的阿拉伯文本数据，该模型在通用语言处理任务中达到了最先进的性能。此外，与现有的阿拉伯语言模型相比，AraMUS 表现出了优秀的少样本学习能力。

    Jun, 2023

  • MaLA-500: 大规模语言模型的大规模语言适应

    为了弥补大型语言模型在低资源语言方面的不足，本研究引入了 MaLA-500，一个设计用于覆盖 534 种语言范围的新型大型语言模型。通过词汇扩展和持续的预训练，MaLA-500 在 SIB-200 上的实验表明其实现了最新的上下文学习结果。我们将 MaLA-500 发布在指定的 URL 上。

    Jan, 2024

  • LLaMA：开放高效的基础语言模型

    介绍了 LLaMA，包含 7B 至 65B 个参数的基础语言模型，使用公开可用的数据集训练，其中 LLaMA-13B 在大多数基准测试中优于 GPT-3（175B），LLaMA-65B 等模型与最佳模型 Chinchilla-70B 和 PaLM-540B 相竞争。

    Feb, 2023

  • MaLLaM -- 马来西亚大型语言模型

    MaLLaM 在马来西亚语境下训练了 1.1 亿、30 亿和 50 亿参数的模型，具有增强的马来语自然语言理解和生成任务能力，优于 ChatGPT3.5 和 Malaysian Mistral 模型，为大型语言模型在马来语上作出了重要贡献。

    Jan, 2024