我们是第一个收集和翻译大量文本、指令和基准，并训练、评估和发布专门针对罗马尼亚语的开源大型语言模型，通过在学术基准、手动翻译的 MT-Bench 和专业构建的历史、文化和社会基准测试中获得卓越的结果，我们公开发布所有资源以支持和鼓励罗马尼亚语大型语言模型的研究，并同时创建适用于其他低资源语言的可推广的方法。

Jun, 2024

使用大规模生成模型和较小的编码器模型，语言模型可以帮助软件开发人员提高生产力，包括代码生成、代码补全、代码搜索等任务，并且可以通过新的基准数据集 GenCodeSearchNet (GeCS) 来评估语言模型对编程语言理解的泛化能力。

Nov, 2023

通过引入 RoboCoder 综合基准和自主学习框架，提高机器人在复杂环境中的普适性，并结合实时环境反馈不断更新和完善行动代码，使得大型语言模型在处理复杂任务时表现出显著提升。

Jun, 2024

近年来，大型语言模型（LLMs）在各种任务上已经实现了几乎人类水平的表现。尽管一些 LLMs 在多语言数据上进行了训练，但大多数训练数据仍是英文，所以它们在英文上的表现远远超过其他语言。本文介绍了我们对第一个专门用于罗马尼亚语的基础和聊天型 LLMs 进行训练和评估的方法。

May, 2024

罗马尼亚方言识别是语音处理和语言技术中的关键任务，但研究主要集中在广泛使用的语言上，缺乏针对低资源语言（如罗马尼亚语）的研究。为填补这一研究空白，我们首次引入了罗马尼亚语方言识别的 RoDia 数据集，包含来自罗马尼亚五个不同地区的样本，并且包含了 2 小时的人工标注语音数据。同时，我们提供了一组竞争模型作为未来研究的基准。在该数据集上，最高得分的模型在宏观 F1 得分上达到 59.83%，在微观 F1 得分上达到 62.08%，显示该任务的挑战性。因此，我们相信 RoDia 是一个有价值的资源，将促进针对罗马尼亚方言识别挑战的研究。我们在此链接上公开发布我们的数据集和代码。

Sep, 2023

通过 PECC 我们引入了一个新的基准，从 Advent of Code (AoC) 和 Project Euler 派生，旨在评估大型语言模型对嵌入式问题的理解和生成可执行代码的能力，进而成为通用问题解决器。

Apr, 2024

最近，大型语言模型 (LLMs) 在理解自然语言和生成编程代码方面表现出了非凡的能力。然而，对于 LLMs 生成的代码的可靠性和鲁棒性的研究尚未得到深入的探讨。这项研究提出了一个包括 1208 个编程问题的数据集 RobustAPI，用于评估 LLMs 生成的代码的可靠性和鲁棒性，并发现甚至对于 GPT-4 而言，62% 的生成代码存在 API 误用，这可能导致意想不到的后果。

Aug, 2023

本研究通过引入 VersiCode 数据集和两个专门的评估任务 (VSCC 和 VACE)，对大型语言模型在生成特定库版本可验证代码方面的能力进行综合实验和性能评估，揭示了即使是最先进的大型语言模型在生成版本正确代码方面也存在困难，为进一步研究这一重要领域的能力和限制提供新的视角和资源。

Jun, 2024

介绍了 MOldavian 和 ROmanian 方言语料库（MOROCO），包含来自六个主题的 33564 个文本样本和用于分类任务的标签，使用基于字符串核的浅层方法和包含 Squeeze-and-Excitation 块的字符级卷积神经网络的深层方法进行实验和研究了最具有区分性的特征。

Jan, 2019

本文介绍 XLCoST 横跨 8 种语言的跨语言代码片段数据集，支持 10 项跨语言代码任务，并提供了几种基准模型的性能。该数据集是目前规模和语种最大的源代码平行数据集，可以帮助跨语言代码智能的研究和方法开发以及验证。

Jun, 2022