Qwen是我们大型语言模型系列的第一款综合语言模型，包括基础预训练语言模型Qwen和使用人类对齐技术微调的聊天模型Qwen-Chat，前者在多个下游任务中展现了出色的性能，而后者在复杂任务上表现出令人印象深刻的性能，甚至与更大的模型相比都具有先进的工具使用和计划能力。

Sep, 2023

尽管大型语言模型的类型不断扩大，但荷兰语模型仍存在显著差距，该研究提供了一小步来改善这一状况，引入两个经过微调的Llama 2 13B模型变种，使用荷兰特定网络爬取数据进行微调，随后在多个合成指令和聊天数据集上进一步优化模型，同时提供数据集和模型权重，并提供一个评估指标来追踪（荷兰）模型在多个生成任务上的性能，包括一些先进模型的结果，最后对需要推进荷兰语模型以及整个模型生态系统所需的关键点进行了关键性结论。

Dec, 2023

我们提出了YAYI 2，这是一个具有300亿参数的基础模型和聊天模型的多语言模型，通过多个基准测试表明比其他类似规模的开源模型表现更好。

Dec, 2023

用101种语言的指令追踪的Aya广泛多语言生成语言模型在多任务中表现优越，同时扩展了用于99种语言的多语言评估的最新技术水平，并进行了关于优化微调混合成分、数据修剪以及模型的毒性、偏见和安全性的详细研究。

Feb, 2024

通过为越南语进行精细调整并开发了综合评估框架，我们发现精细调整的大型语言模型在越南语上表现出更好的理解和生成能力，并且模型规模和训练数据质量对模型的性能有重要影响。

Mar, 2024

Sailor是一个面向东南亚语言的一系列开放语言模型，包括从0.5B到7B参数的模型。通过从Qwen1.5继续预训练，Sailor模型接受200B到400B个token，主要涵盖英语、中文、越南语、泰语、印度尼西亚语、马来语和老挝语。实验结果显示，Sailor模型在常识推理、问答、阅读理解和考试等多个基准任务上表现出强的性能，鼓励开发更多多语种大语言模型的兴趣。

Apr, 2024

Aya 23是一种多语言语言模型，在扩展接近全球人口一半的23种语言的同时，通过将更多容量分配给预训练阶段包含的少量语言，Aya 23在其涵盖的语言上表现较好，超过了Aya 101等大规模多语言模型以及Gemma、Mistral和Mixtral等广泛使用的模型，在广泛的区别性和生成性任务上有着出色的表现。

May, 2024

该研究解决了合并大型语言模型（LLMs）时，微调（FT）和预训练（PT）模型之间参数变化范围不同带来的挑战。论文提出了一种基于权重解耦（WIDEN）的方法，有效扩展了合并技术的适用范围，实验结果显示，WIDEN能够成功将多语种能力注入指令跟随能力模型，并提高其在东南亚语言中的表现。

Aug, 2024

本研究解决了大型语言模型在高资源语言与低资源语言之间表现差异的问题，并提出了FuxiTranyu，一种旨在满足研究社区对平衡和高性能多语言能力需求的开源多语言大型语言模型。研究表明，FuxiTranyu在多个多语言基准测试中表现出竞争力，有助于推动多语言大型语言模型及其工作机制的进一步研究。

Aug, 2024

本研究针对大型语言模型在高资源和低资源语言之间的性能差异问题，提出了FuxiTranyu，一个开放源代码的多语言大型语言模型，旨在实现均衡的多语言能力。研究的核心贡献是使用了6000亿个标记的均衡多语言数据集进行训练，实验结果显示，FuxiTranyu在多语言基准测试中表现出色，有望推动多语言大模型的进一步研究。

Aug, 2024