OpenLLM-Ro -- 关于从 Llama 2 开始训练的开源罗马尼亚语 LLM 的技术报告

May, 2024

OpenLLM-Ro -- 关于从 Llama 2 开始训练的开源罗马尼亚语 LLM 的技术报告

OpenLLM-Ro -- Technical Report on Open-source Romanian LLMs trained starting from Llama 2

Mihai Masala, Denis C. Ilie-Ablachim, Dragos Corlatescu, Miruna Zavelca, Marius Leordeanu...

TL;DR近年来，大型语言模型（LLMs）在各种任务上已经实现了几乎人类水平的表现。尽管一些 LLMs 在多语言数据上进行了训练，但大多数训练数据仍是英文，所以它们在英文上的表现远远超过其他语言。本文介绍了我们对第一个专门用于罗马尼亚语的基础和聊天型 LLMs 进行训练和评估的方法。

Abstract

In recent years, large language models (llms) have achieved almost human-like performance on various tasks. While some llms have been trai

large language models llms multilingual data training and evaluating romanian

发现论文，激发创造

如何训练强大的罗马尼亚语语言模型（LLM），附带英文指导

我们是第一个收集和翻译大量文本、指令和基准，并训练、评估和发布专门针对罗马尼亚语的开源大型语言模型，通过在学术基准、手动翻译的 MT-Bench 和专业构建的历史、文化和社会基准测试中获得卓越的结果，我们公开发布所有资源以支持和鼓励罗马尼亚语大型语言模型的研究，并同时创建适用于其他低资源语言的可推广的方法。

Jun, 2024

LLM 翻译中的重要语言特征和语言

基于大型语言模型（LLMs），本研究评估了 Llama2 在机器翻译方面的能力，并探讨了对训练数据中语言的依赖性。实验证明，7B 规模的 Llama2 模型对其已见过的所有语言都具有 10 BLEU 分数以上，但对未见过的语言不一定如此。我们的语言距离分析表明，句法相似性并非决定翻译质量的主要语言因素。有趣的是，我们发现在特定条件下，某些语言虽然训练数据明显少于英语，却与英语具有可比较的强相关性。本研究结果为目前 LLMs 的发展提供了新的视角，提出了以非英语语言为中心构建多语言模型的可能性。

Feb, 2024

ORLM：训练大型语言模型用于优化建模

通过训练开源的大型语言模型（LLMs）来处理自动化优化建模中的数据隐私问题，提出了定制化合成数据的半自动化过程（OR-Instruct），并在实际应用中实现了显著改进的优化建模能力。

May, 2024

开源会话 LM 不认识大部分西班牙语单词

开源聊天型大型语言模型评估了它们对西班牙语单词的知识，结果发现它们对大部分单词的意思产生错误的理解，并且无法正确运用这些单词构建有上下文的句子，揭示了西班牙语在开源大型语言模型竞赛中的滞后性，并强调了在聊天型大型语言模型中推动语言公平性的需求。

Mar, 2024

TeenyTinyLlama: 开源的巴西葡萄牙语小型语言模型训练

为了在低资源环境下利用，开发了两种紧凑的巴西葡萄牙文本生成模型，发布在 GitHub 和 Hugging Face 上供社区使用和进一步开发。

Jan, 2024

Tamil-Llama：基于 Llama 2 的新泰米尔语言模型

通过使用 16,000 个泰米尔语令牌增强开源的 LLaMA 模型，本篇论文旨在解决现有切尖模型中泰米尔语等语种的代表性不足所导致的在多样的语言环境下性能不佳的问题。我们采用了 LoRA 方法来在包括广泛的泰米尔语语料库在内的训练数据上进行高效的模型训练，以保证计算可行性和模型的稳健性。此外，我们引入了泰米尔语翻译版本的 Alpaca 数据集以及用于指令微调的 OpenOrca 数据集的子集。实验结果显示在泰米尔语文本生成方面有显著的性能改进，对于印度语言切尖模型的广泛应用具有重要意义。我们通过公开我们的模型、数据集和代码，进一步强调我们对开放研究的承诺，促进语言建模领域的进一步创新。

Nov, 2023

UCCIX: 爱尔兰卓越大型语言模型

该研究通过提出一种新的框架，使用极少量的文本数据来进行大规模语言模型的训练，开发了 UCCIX，一个面向爱尔兰语的开源语言模型，并在爱尔兰语任务中取得了高达 12% 的性能提升，提供了爱尔兰语数据集以便进行评估和未来研究，旨在推动爱尔兰语在数字时代的发展和其它土著语言的应用。

May, 2024

从零开始预训练轻量级大型语言模型 MindLLM: 评估与领域应用

MindLLM 是一系列双语轻量级大型语言模型，通过从头开始训练模型以减轻培训和部署大型语言模型的负担并解决资源不足问题。该论文提供了大模型开发过程中的经验，并介绍了适用于较小模型的创新指令调整框架，同时探索了 MindLLM 在法律和金融等特定垂直领域的应用。

Oct, 2023

Tele-FLM 技术报告

大语言模型的扩展和效率提升方法的开放资源，以及展示优于其他模型的跨语言语言建模能力和核心设计。

Apr, 2024

LLMs4OL：用于本体学习的大型语言模型

我们提出了 LLMs4OL 方法，利用大型语言模型（LLMs）进行本体学习（OL）。通过全面评估使用零训练样例提示方法，我们发现 LLMs 可以有效地应用其语言模式捕捉能力于 OL，该能力包括从自然语言文本中自动提取和结构化知识。评估涵盖了对三个主要的 OL 任务进行九种不同的 LLM 模型家族的评估，包括术语类型化，分类系统发现以及非分类关系的提取，并包含了 WordNet 中的词汇语义知识，GeoNames 中的地理知识以及 UMLS 中的医学知识等多种类型的本体知识。

Jul, 2023