本研究引入了印度尼西亚自然语言理解（IndoNLU）任务的第一个巨大资源及其预训练模型 IndoBERT，包括从单句分类到对句子序列标记的 12 个任务，并提供了基准模型和评估框架以使每个人都能评估自己的系统性能。

Sep, 2020

本文介绍 IndicNLG 基准，一个用于评估 11 种 Indic 语言的自然语言生成的数据集集合，包括人物传记生成、新闻标题生成、句子摘要、改写生成和问题生成等 5 个不同的任务，使用预训练序列到序列模型和多语言基线来评估性能，并表明多语言特定预训练模型的强大性能和我们数据集训练的模型对其他相关 NLG 任务的实用性。

Mar, 2022

本文提出 BanglaNLG，用于评估 Bangla 自然语言生成（NLG）模型的全面基准，并介绍了六个具有挑战性的条件文本生成任务和一个新的对话生成数据集。利用 27.5 GB 干净的 Bangla 数据集，预训练了 BanglaT5，一种面向 Bangla 的序列到序列 Transformer 语言模型。 BanglaT5 在所有任务中均达到最先进的性能，比多语言模型高出 9％的绝对收益和 32％的相对收益。我们将新的对话数据集和 BanglaT5 模型公开发布，以期推动未来的 Bangla NLG 研究。

May, 2022

通过对印尼四种资源匮乏的本土语言：爪哇语、巽他语、民丹・卡巴乌语和巴厘语的神经机器翻译系统进行全面分析，本研究揭示了适用于资源匮乏语言翻译的实用策略，展示了实现竞争性翻译品质的神经机器翻译系统，对类似背景的研究者提供了有价值的指导。

Nov, 2023

发布了包括七个任务的 IndoLEM 数据集，以及新的预训练语言模型 IndoBERT 用于印度尼西亚语言，并在 IndoLEM 上进行了评估和与现有资源进行了基准测试。实验结果表明，IndoBERT 在 IndoLEM 的大部分任务上实现了最先进的性能。

Nov, 2020

介绍了 Bhinneka Korpus 这一多语种并行语料库，以增强印度尼西亚当地语言资源的获取和利用，并通过 IBM 模型 1 实验表明该语料库在进一步发展低资源语言的高级 NLP 技术和多语种翻译模型方面显示出良好的性能。

Apr, 2024

本文介绍了针对印度尼西亚低资源语言的第一次并行资源开发，包括数据集、多任务基准、词汇表和印度尼西亚 - 英文平行数据集，并描述了创建这些资源的挑战。该研究的目的是激发有关印度尼西亚和其他代表性不足语言的自然语言处理研究。

May, 2022

我们提出了 IndoNLI 数据集，这是第一个人类收集的适用于印度尼西亚语的 NLI 数据集。我们采用 MNLI 的数据收集协议，收集了近 18K 个由众包工人和专家标注的句子对。实验结果表明，在我们的数据中，XLM-R 的性能优于其他预训练模型。最佳性能仍然远低于人类性能（13.4％的准确度差距），表明此测试集具有特别的挑战性。此外，我们的分析显示，我们的专家标注数据比众包标注数据更加多样化，注释工件更少。我们希望这个数据集可以帮助加快印尼自然语言处理研究的进展。

Oct, 2021

在这篇论文中，我们引入了 NLEBench，这是一个专门为评估挪威语等少资源语言的自然语言生成能力而设计的综合性基准测试，同时介绍了 NorGLMs，这是使用不同参数规模和基于 Transformer 的架构开发的基础挪威语生成语言模型。通过对提出的基准测试套件的系统评估，我们可以了解 NorGLMs 在各种下游任务中的能力和可扩展性。

Dec, 2023

印度是一个拥有 14 亿人口的语言多样性国家，为了促进多语言大型语言模型的研究和评估，我们发布了 IndicGenBench，这是一个覆盖 13 种脚本、4 种语系以及 29 种印度语言的最大基准。我们对包括 GPT-3.5、GPT-4、PaLM-2、mT5、Gemma、BLOOM 和 LLaMA 在内的各种大型语言模型在 IndicGenBench 上的表现进行了评估，结果显示多数任务中表现最好的是最大的 PaLM-2 模型，但与英语相比，所有语言都存在显著的性能差距，因此我们需要进一步的研究来开发更具包容性的多语言语言模型。

Apr, 2024