Vi-Mistral-X: 基于高级连续预训练的越南语语言模型构建

Mar, 2024

Vi-Mistral-X: 基于高级连续预训练的越南语语言模型构建

Vi-Mistral-X: Building a Vietnamese Language Model with Advanced Continual Pre-training

James Vo

TL;DR本论文介绍了一种针对越南语设计的创新型大型语言模型vi-mistral-x，利用连续预训练的独特方法，通过 Mistral 架构结合了分组查询注意力和滑动窗口注意力技术，大幅提升了对越南语的理解和生成能力，在文本分类、问题回答和文本生成等关键领域明显优于现有的越南语大型语言模型，特别在越南多任务语言理解基准测试中表现突出，提升了针对语言的大型语言模型的发展，并鼓励为较少被代表的语言创建更多大型语言模型。

Abstract

The advancement of large language models (LLMs) has significantly transformed the field of natural language processing, although the focus on English-centric models has created a noticeable research gap for specific languages, including →

发现论文，激发创造

ViDeBERTa: 一种用于越南语的强大预训练语言模型

本文介绍了 ViDeBERTa，一种新的越南语预训练单语言模型，使用 DeBERTa 架构在大规模高质量多样化的越南文本语料库上进行预训练，取得了在越南特定的自然语言理解任务上比前文献更好的表现，尤其在问答任务上能取得出色的结果。该模型相较于其他预训练语言模型具有更少的参数，其表现非常出色，并且现已提供供大家使用。

Jan, 2023

为越南聊天机器人高效微调大型语言模型

通过利用开源项目中的大规模指令遵循数据集，我们采用参数高效调整方法对两个开放许可的大语言模型(Bloomz和GPTJ)进行了调整，使其在越南语上取得了显著的性能提升，并通过自动评分机制证明我们的方法相对于原始模型在评估任务上的效果提升了约20-30%。

Sep, 2023

评估大型语言模型在越南普通教育的多项选择问题中的符号绑定能力

我们评估大型语言模型在零样本、一次样本和少样本设置下执行多项选择符号绑定 (MCSB) 以解决多项选择问题回答 (MCQA) 任务的能力。我们提供了结构化的 LaTeX 公式指南，创建了一个新颖和高质量的数据集，用于评估大型语言模型和较小语言模型的 MCSB 能力，通过预测在问题的上下文中最可能的答案字符 (A、B、C 或 D)。我们在两个基准数据集 ViMMRC 1.0 和 ViMMRC 2.0 上评估了六个知名的大型语言模型，并展示了它们在越南语 MCSB 能力上的有希望结果。

Oct, 2023

基于Mistral的大型马来西亚语言模型用于增强本地语言理解

本研究介绍了在32.6GB数据集上对Mistral 7B进行预训练的重要进展，研究中探索了扩展上下文长度的影响，发布了具有4096和32768标记的上下文长度模型，并通过专门调优的16384标记的上下文长度模型——Malaysian Mistral，进一步提升了性能。实验证明了持续预训练的效果以及扩展上下文长度对Mistral 7B的语言理解能力的影响。此外，该研究还通过与其他著名语言模型的基准测试（包括ChatGPT3.5和Claude 2）做对比，展示了Malaysian Mistral在塔塔巴哈萨（马来语法）测试集上表现出卓越性能，特别是在配合指令进行微调时。

Jan, 2024

VlogQA: 越南口语问答的任务、数据集和基线模型

通过捕捉越南母语者在自然环境中的口语表达，这篇论文描述了一个用于机器阅读理解任务的越南口语语料库的开发过程，并提供了使用真实数据进行机器阅读理解任务所面临的挑战和机遇的见解。

Feb, 2024

迈向全面的越南检索增强生成和大型语言模型

通过开发和传播越南语RAG和LLMs的开放式数据集和预训练模型，本文介绍了我们对越南语言理解和生成领域的贡献。

Mar, 2024

跨越语言的视角：越南大型语言模型的微调和全面评估

通过为越南语进行精细调整并开发了综合评估框架，我们发现精细调整的大型语言模型在越南语上表现出更好的理解和生成能力，并且模型规模和训练数据质量对模型的性能有重要影响。

Mar, 2024

VLUE：越南自然语言理解的新基准和多任务知识迁移学习

为了评估新的自然语言理解模型在一系列任务上的表现，我们引入了第一个越南语语言理解评估（VLUE）基准，涵盖了五个不同的NLU任务，包括文本分类、跨度提取和自然语言理解。我们评估了七个最先进的预训练模型在我们提出的VLUE基准上的表现，包括多语言和越南语单语模型，并提出了CafeBERT，一个在VLUE基准中所有任务上都取得优秀结果的最新预训练模型。

Mar, 2024

LaVy: 越南多模态大型语言模型

通过引入LaVy和LaVy-Bench，我们在解决高质量多模式资源缺失的情况下，开创性地推进了越南语多模式大型语言模型的发展。

Apr, 2024

ViLLM-Eval：越南大型语言模型的综合评估套件

本研究介绍了ViLLM-Eval，一个综合评估套件，用于衡量基于越南语背景下的基础模型的高级知识和推理能力，通过多项选择题和预测下一个单词的任务，评估了最先进的大语言模型在ViLLM-Eval上的表现，揭示了这些模型在理解和应对越南语任务方面仍有待改进的空间，该套件将有助于发现基础模型的关键优势和劣势，最终促进其发展并提升在越南用户中的性能。

Apr, 2024