Dec, 2023

VinaLLaMA: 基于 LLaMA 的越南语基础模型

PDF
TL;DRVinaLLaMA, 一个基于 LLaMA-2 在越南语上训练时额外增加了 8000 亿个训练标记的最先进的大型语言模型，不仅在越南语流畅，还对越南文化有着深刻理解，成为真正的土著模型。在 100 万个高质量合成样本上训练的 VinaLLaMA-7B-chat，在包括 VLSP、VMLU 和 Vicuna Benchmark Vietnamese 在内的关键基准上取得了最先进的结果，标志着越南人工智能领域的重大进步并为各种应用提供了多功能的资源。
vinallamavietnamese languagellama-2large language modelsota results
发现论文，激发创造
  • LLaMA：开放高效的基础语言模型

    介绍了 LLaMA，包含 7B 至 65B 个参数的基础语言模型，使用公开可用的数据集训练，其中 LLaMA-13B 在大多数基准测试中优于 GPT-3（175B），LLaMA-65B 等模型与最佳模型 Chinchilla-70B 和 PaLM-540B 相竞争。

    Feb, 2023

  • LaVy: 越南多模态大型语言模型

    通过引入 LaVy 和 LaVy-Bench，我们在解决高质量多模式资源缺失的情况下，开创性地推进了越南语多模式大型语言模型的发展。

    Apr, 2024

  • 跨越语言的视角：越南大型语言模型的微调和全面评估

    通过为越南语进行精细调整并开发了综合评估框架，我们发现精细调整的大型语言模型在越南语上表现出更好的理解和生成能力，并且模型规模和训练数据质量对模型的性能有重要影响。

    Mar, 2024

  • ViLLM-Eval：越南大型语言模型的综合评估套件

    本研究介绍了 ViLLM-Eval，一个综合评估套件，用于衡量基于越南语背景下的基础模型的高级知识和推理能力，通过多项选择题和预测下一个单词的任务，评估了最先进的大语言模型在 ViLLM-Eval 上的表现，揭示了这些模型在理解和应对越南语任务方面仍有待改进的空间，该套件将有助于发现基础模型的关键优势和劣势，最终促进其发展并提升在越南用户中的性能。

    Apr, 2024

  • LLaMAntino: LLaMA 2 模型在意大利语文本生成中的有效应用

    通过采用开放科学方法，研究探索了各种调整方法，以确保在原始模型数据集中不常见的意大利语适用于许多任务的高质量意大利语生成模型，为意大利语的语言适应策略贡献了 LLaMAntino 意大利语 LLM 家族的创新。

    Dec, 2023

  • Vi-Mistral-X: 基于高级连续预训练的越南语语言模型构建

    本论文介绍了一种针对越南语设计的创新型大型语言模型 vi-mistral-x，利用连续预训练的独特方法，通过 Mistral 架构结合了分组查询注意力和滑动窗口注意力技术，大幅提升了对越南语的理解和生成能力，在文本分类、问题回答和文本生成等关键领域明显优于现有的越南语大型语言模型，特别在越南多任务语言理解基准测试中表现突出，提升了针对语言的大型语言模型的发展，并鼓励为较少被代表的语言创建更多大型语言模型。

    Mar, 2024

  • VisionLLaMA：一个统一的视觉任务 LLaMA 接口

    该研究论文介绍了一种基于转换器架构的大型语言模型，探讨了该转换器是否能够用于处理二维图像，并提出了一种名为 VisionLLaMA 的类似 LLaMA 的视觉转换器，用于解决各种视觉任务，并在图像生成中展现出显著的改进。该研究代码将在指定的 URL 上发布。

    Mar, 2024

  • LLaVA-Gemma：利用紧凑的语言模型加速多模基础模型

    我们使用近期发布的 Gemma 系列大型语言模型（LLMs）在流行的 LLaVA 框架中训练了一套多模态基础模型（MMFM）。我们测试了删除三个设计特征对模型性能的影响，并对性能进行了深入分析。最终的 LLaVA-Gemma 模型在多项评估中表现适中，但未能超越当前规模相当的 SOTA 模型。

    Mar, 2024

  • 为越南聊天机器人高效微调大型语言模型

    通过利用开源项目中的大规模指令遵循数据集，我们采用参数高效调整方法对两个开放许可的大语言模型 (Bloomz 和 GPTJ) 进行了调整，使其在越南语上取得了显著的性能提升，并通过自动评分机制证明我们的方法相对于原始模型在评估任务上的效果提升了约 20-30%。

    Sep, 2023

  • Me LLaMA: 基于大型语言模型的医疗应用基础

    这项研究介绍了 Me LLaMA，这是一个医学领域的大型语言模型（LLM）家族，包括基础模型 Me LLaMA 13/70B 和增强聊天版本 Me LLaMA 13/70B-chat。通过在大型医学数据上进行持续预训练和指导调整，Me LLaMA 模型在医学任务上表现优于其他医学 LLMs，适用于医学人工智能应用。

    Feb, 2024