发布了包括七个任务的 IndoLEM 数据集，以及新的预训练语言模型 IndoBERT 用于印度尼西亚语言，并在 IndoLEM 上进行了评估和与现有资源进行了基准测试。实验结果表明，IndoBERT 在 IndoLEM 的大部分任务上实现了最先进的性能。

Nov, 2020

通过在 Llama-2 模型的基础上进一步扩展词汇量、专门的指令和对齐调整等方法，我们引入了专注于东南亚语言的创新语言模型系列 SeaLLMs，以解决现有大型语言模型在低资源和区域语言方面的语言偏差问题。经过全面评估，我们发现 SeaLLM-13b 模型在广泛的语言任务和助手式指令跟随能力方面表现出卓越的性能，并且在诸如泰语、高棉语、老挝语和缅甸语等非拉丁语言方面明显优于 ChatGPT-3.5 模型，并且在轻便且经济高效的操作中仍然表现出色。

Dec, 2023

通过收集印尼的基础学校到大学入学考试的一系列考题，我们评估了大型语言模型是否能够通过这些考试，结果表明 GPT-3.5 仅能通过印尼的小学水平，并且对印尼的本地语言和文化了解有限，而诸如 BLOOMZ 和 Falcon 等较小的模型则无法通过这些考试。

Oct, 2023

尽管大型语言模型的类型不断扩大，但荷兰语模型仍存在显著差距，该研究提供了一小步来改善这一状况，引入两个经过微调的 Llama 2 13B 模型变种，使用荷兰特定网络爬取数据进行微调，随后在多个合成指令和聊天数据集上进一步优化模型，同时提供数据集和模型权重，并提供一个评估指标来追踪（荷兰）模型在多个生成任务上的性能，包括一些先进模型的结果，最后对需要推进荷兰语模型以及整个模型生态系统所需的关键点进行了关键性结论。

Dec, 2023

Cendol 是一组印尼语 LLMs，通过模型自适应和安全预训练来解决印尼土著语言和低资源语言的质量差距，展示了在各种任务中的有效性和潜力。

Apr, 2024

當應用於資源有限的東南亞語言時，大型語言模型的效果明顯下降。為此，我們引入了 CompassLLM，一個專門針對東南亞語言的大型多語言模型，旨在支持 Shopee 的開發需求。我們的方法包括多個關鍵策略，逐步增強多語言能力，並進行低資源語言的訓練，同時整合了課程學習和監督指導微調，以獲得更好的人類指導行為相符的模型，並在自動和人工評估中顯示出優越性能，尤其在東南亞語言中，如印尼語。

Apr, 2024

介绍了 Bhinneka Korpus 这一多语种并行语料库，以增强印度尼西亚当地语言资源的获取和利用，并通过 IBM 模型 1 实验表明该语料库在进一步发展低资源语言的高级 NLP 技术和多语种翻译模型方面显示出良好的性能。

Apr, 2024

NusaBERT 是一种基于 IndoBERT 的模型，通过词汇扩展和多样化的多语种语料库，解决了印度尼西亚多语种和方言的自然语言理解问题，取得了最先进的成果，为研究少数语言奠定了基础。

Mar, 2024

我们详细调查了将 LLMs 适应到新语言的过程，包括词汇扩展、直接优化偏好以及低资源语言中的数据匮乏问题，我们的实验覆盖了 9 种语言和 2 个参数规模，并与先前的基准模型进行比较，我们的模型表现优于所有先前已发表的基准模型。

Apr, 2024

本研究引入了印度尼西亚自然语言理解（IndoNLU）任务的第一个巨大资源及其预训练模型 IndoBERT，包括从单句分类到对句子序列标记的 12 个任务，并提供了基准模型和评估框架以使每个人都能评估自己的系统性能。

Sep, 2020