Apr, 2024

Nyonic技术报告

HTML
PDF
TL;DR最新的自定义大语言模型的开发和关键成就，包括支持灵活调整训练数据和课程学习的新式在线数据调度器，采用最新的技术，如旋转位置嵌入、QK-LayerNorm和特制的多语言分词器来增强稳定性和性能。此外，我们的强大训练框架还结合了先进的监控和快速恢复功能，以确保最佳效益。我们的Wonton 7B模型在多种语言和英语基准测试中表现出竞争力。未来的发展将优先缩小与更广泛训练模型之间的性能差距，从而提高模型在实际中的效力和适应性。
发现论文，激发创造
  • 无需分词的多语言预训练模型的多维度评估

    综合比较多语言预训练模型的效率时，在考虑内存使用、推理速度和数据健壮性等方面，基于子词的模型仍然是许多场景下更可靠的选择，此为当前研究结果，建议未来的tokenizer-free方法在设计和评估模型时也要考虑这些因素。

    Oct, 2022

  • 大型语言模型综述

    本篇综述论文全面分析了大型语言模型的架构及其分类、训练策略、训练数据集和性能评估，并讨论了未来的研究方向，最后总结了大型语言模型研究的重要发现和关键的架构和训练策略。

    Jul, 2023

  • Orion-14B：开源多语言大型语言模型

    我们介绍了Orion-14B，这是一个包含140亿参数的多语言大型语言模型集合。我们利用数据调度方法在来自英语、中文、日语、韩语和其他语言的多样文本语料库中训练了一个基础模型。此外，我们还对应用于对话和其他特定用例的一系列模型进行了精细调整。我们的评估结果表明，Orion-14B在广泛的任务中实现了最先进的性能。我们通过公开访问的链接提供了Orion-14B模型系列及其相关代码，旨在激发未来在该领域的研究和实际应用。

    Jan, 2024

  • 多模态大语言模型（MM-LLMs）的最新进展

    综述了过去一年多模态大型语言模型（MM-LLMs）的进展，提供了对MM-LLMs的全面调查，包括模型架构和训练流程的设计概述，介绍了26种不同形式的MM-LLMs，并回顾了其在主流基准上的性能以及提升其效力的关键训练方法，同时探索了MM-LLMs领域的前景方向。

    Jan, 2024

  • 高效的语言自适应预训练：为波兰语扩展最先进的大型语言模型

    使用英语大型语言模型（LLMs）通过微调，成功地生成了波兰文文本，并证明了该方法对于为现有LLMs添加新语言是可行的。

    Feb, 2024

  • 多语能力的祝福：Poro 34B

    通过多语言训练，研究引入了Poro 34B模型，该模型具有340亿个参数，并使用1万亿个标记的芬兰语、英语和编程语言进行训练，证明了多语言训练方法可以显著改进现有的芬兰语模型，并在翻译和生成英语和编程语言方面具有竞争力。

    Apr, 2024

  • 通过多指令训练教授一种多语言的大型语言模型理解多语言语音

    利用多语言语言模型与多语言语音编码器，本研究提出BLOOMZMMS，旨在为语音识别及其它领域利用大型语言模型的能力。通过多指令训练方法，我们验证了从文本到语音模态的语言知识的可传递性。实验证明，可以有效地学习并使多语言语音表征与多语言语言模型对齐。尽管初始表征在任务泛化方面存在局限性，但我们通过生成多指令样式的合成目标解决了这个问题。零样本评估结果证实了我们的方法在多种任务上的强大鲁棒性，包括语音翻译和多语言口语理解，从而为语音领域应用大型语言模型开辟了新的途径。

    Apr, 2024

  • 多语言语言模型的绩效驱动因素是什么？

    通过研究204种语言的多语言大型语言模型（MLLMs）在不同语言上的表现，考察了预训练数据大小、资源可用性、语言家族和脚本类型等因素对模型性能的影响，并发现对于已知语言来说，预训练数据大小是最重要的因素，而对于未知语言来说，脚本类型和语言家族至关重要。模型大小和结构并不显著改变最重要的特征，这些研究结果为当前MLLMs的优势和局限性提供了有价值的见解，并希望指导更有效、公平的多语言自然语言处理系统的开发。

    Apr, 2024

  • 大型语言模型的国际化综述：最新进展和新的研究方向

    对大型语言模型（LLMs）在多语种环境中的应用进行了综述，包括训练和推理方法、模型安全性、多领域与语言文化、数据集使用，同时讨论了相关方面的主要挑战和潜在解决方案，并提出了进一步增强语言模型的未来研究方向。

    May, 2024

  • 近期大型语言模型在低资源语言中的表现

    本研究聚焦于大型语言模型在低资源语言（如僧伽罗语）中的表现，填补了此领域的研究空白。通过评估四种最新的语言模型，发现Claude和GPT 4o在直接处理僧伽罗语及其英译方面表现优异，显著优于前版本，而Llama和Mistral虽表现不佳，但在微调后具有改进潜力。该研究为低资源语言处理提供了新的见解和实用模型选择。

    Jul, 2024