May, 2024

Vikhr: 面向俄语的开源指令调优大语言模型家族

PDF
TL;DR为了解决非英语文本生成的挑战，如生成质量差和计算性能下降等问题，本研究介绍了一种专为俄语设计的开源指令调整大型语言模型 Vikhr，通过适应性分词词汇表、持续预训练和指令调整权重等方法，提高模型性能和计算效率，并在俄语基准测试中取得显著成果。
large language modelstext generationrussian languagevikhrinstruction tuning
发现论文，激发创造
  • 令牌化对 LLaMa 俄文适应性的影响

    通过词汇替换来解决 LLaMa 俄语适应问题，提高模型质量并加速微调和推理，同时减少内存消耗。

    Dec, 2023

  • 从字节到俄罗斯优势：优化吉玛和米斯特拉用于乌克兰语表示

    利用乌克兰数据集对开源 Gemme 和 Mistral 语言模型进行微调，以提高其语言能力，并与其他处理乌克兰语的模型进行基准比较。该研究旨在减少技术中的语言偏见，促进数字领域的包容性。通过透明且可复现的方法鼓励进一步的 NLP 研究与发展，同时提出乌克兰知识与指令数据集（UKID）以支持未来的语言模型微调工作。本研究推动了自然语言处理领域的发展，并凸显了 AI 中语言多样性的重要性，对文化保护、教育和全球 AI 的扩展至关重要。最终，我们呼吁实现一种包容性的技术未来，使 AI 能够在所有语言，特别是目前少数代表的语言中有效地进行交流。

    Apr, 2024

  • 如何训练强大的罗马尼亚语语言模型（LLM），附带英文指导

    我们是第一个收集和翻译大量文本、指令和基准，并训练、评估和发布专门针对罗马尼亚语的开源大型语言模型，通过在学术基准、手动翻译的 MT-Bench 和专业构建的历史、文化和社会基准测试中获得卓越的结果，我们公开发布所有资源以支持和鼓励罗马尼亚语大型语言模型的研究，并同时创建适用于其他低资源语言的可推广的方法。

    Jun, 2024

  • 波斯思维：一个跨语言的波斯 - 英语大语言模型

    通过在 LLaMa2 的词汇表中添加 10,000 个波斯语标记并在包含近 20 亿波斯语标记的数据集上进行训练，我们展示了我们的方法既保留了模型的英语知识，又利用了迁移学习在不同语言之间传递任务知识的优势。

    Jan, 2024

  • Okapi: 指令调整的多语言大型语言模型及基于人类反馈的强化学习

    Okapi 是第一个基于 RLHF 进行多语言指导调整的系统，引入 26 种不同语言的指导和回应排序数据，以促进未来多语言 LLM 研究的实验和发展。

    Jul, 2023

  • 俄语的预训练 Transformer 语言模型系列

    该论文介绍了一组 13 个基于编码器（ruBERT、ruRoBERTa、ruELECTRA）、解码器（ruGPT-3）和编码器 - 解码器（ruT5、FRED-T5）模型构建的俄语 Transformer 语言模型。通过预训练和发布这些专用的 Transformer 语言模型，希望扩大自然语言处理研究的范围，并为俄语语言的工业解决方案的开发提供支持。

    Sep, 2023

  • 跨越语言的视角：越南大型语言模型的微调和全面评估

    通过为越南语进行精细调整并开发了综合评估框架，我们发现精细调整的大型语言模型在越南语上表现出更好的理解和生成能力，并且模型规模和训练数据质量对模型的性能有重要影响。

    Mar, 2024

  • 从零开始预训练轻量级大型语言模型 MindLLM: 评估与领域应用

    MindLLM 是一系列双语轻量级大型语言模型，通过从头开始训练模型以减轻培训和部署大型语言模型的负担并解决资源不足问题。该论文提供了大模型开发过程中的经验，并介绍了适用于较小模型的创新指令调整框架，同时探索了 MindLLM 在法律和金融等特定垂直领域的应用。

    Oct, 2023

  • VeriGen: Verilog 代码生成的大型语言模型

    通过在 Verilog 数据集上微调现有的 Large Language Models（LLMs），我们探索了使用 LLMs 自动生成高质量的 Verilog 代码的能力。微调后的开源 CodeGen-16B 模型在功能正确性上优于最先进的商业 GPT-3.5-turbo 模型，并在多样化和复杂的问题集中表现出竞争性能，尤其在某些场景下显示了对生成正确 Verilog 代码的潜力，突出了内部小型 LLMs 在硬件设计自动化方面的潜力。

    Jul, 2023

  • OpenLLM-Ro -- 关于从 Llama 2 开始训练的开源罗马尼亚语 LLM 的技术报告

    近年来，大型语言模型（LLMs）在各种任务上已经实现了几乎人类水平的表现。尽管一些 LLMs 在多语言数据上进行了训练，但大多数训练数据仍是英文，所以它们在英文上的表现远远超过其他语言。本文介绍了我们对第一个专门用于罗马尼亚语的基础和聊天型 LLMs 进行训练和评估的方法。

    May, 2024