本文介绍了一种名为 Cross-lingual Choice of Plausible Alternatives（XCOPA）的多语言数据集，用于进行跨语言因果常识推理，评估了一系列最新颖的模型，并提出适应于资源较少语言的多语言模型策略，最终提高了模型性能。

May, 2020

本研究旨在了解地理因素对语言模型的推理能力的影响，以特别强调印尼十一个不同省份内的多元文化。评估 23 种语言模型表明：（1）即使是最优秀的开源模型，准确率也只有 53.2%；（2）模型在某些特定省份（如巴厘岛和西爪哇）的预测通常更准确；（3）地理背景的加入提升了性能，尤其是在像 GPT-4 这样的大型模型中，强调了地理背景在常识推理中的重要性。

Apr, 2024

我们提出了 IndoNLI 数据集，这是第一个人类收集的适用于印度尼西亚语的 NLI 数据集。我们采用 MNLI 的数据收集协议，收集了近 18K 个由众包工人和专家标注的句子对。实验结果表明，在我们的数据中，XLM-R 的性能优于其他预训练模型。最佳性能仍然远低于人类性能（13.4％的准确度差距），表明此测试集具有特别的挑战性。此外，我们的分析显示，我们的专家标注数据比众包标注数据更加多样化，注释工件更少。我们希望这个数据集可以帮助加快印尼自然语言处理研究的进展。

Oct, 2021

介绍了 Bhinneka Korpus 这一多语种并行语料库，以增强印度尼西亚当地语言资源的获取和利用，并通过 IBM 模型 1 实验表明该语料库在进一步发展低资源语言的高级 NLP 技术和多语种翻译模型方面显示出良好的性能。

Apr, 2024

本文研究语言模型在推理任务中的语义相似性偏见问题，提出添加正则化损失的解决方案，能够提高模型泛化能力，在 BCOPA-CE 数据集上表现更为稳健且具有更好的表现。

Jul, 2021

介绍了 COPA-SSE 新的众包数据集，内容为 9747 个半结构化的英语常识解释，包含 ConceptNet 关系和自由写作的概念，格式适用于基于知识图谱的常识推理，每个解释还包括一组人工评定的质量评分。

Jan, 2022

通过引入印尼语、汉语、斯瓦希里语、泰米尔语和土耳其语等语言，构建了一个新的 ImageNet-style 分层协议，从本地化的角度推荐相关概念和图像，建立了一个用于多文化及多语言视觉和语言推理的数据集 MaRVL，并列举出一系列现代模型的基线，发现其跨语言性能显著滞后于英语的监督性能。

Sep, 2021

本文介绍了针对印度尼西亚低资源语言的第一次并行资源开发，包括数据集、多任务基准、词汇表和印度尼西亚 - 英文平行数据集，并描述了创建这些资源的挑战。该研究的目的是激发有关印度尼西亚和其他代表性不足语言的自然语言处理研究。

May, 2022

本文提出了 COPAL 算法（COntinual Pruning in Adaptive Language settings）用于在持续的模型适应环境中对大型语言生成模型进行修剪，通过敏感性分析引导修剪过程，从而提高模型适应新领域的能力并增强资源效率。实证评估表明，COPAL 在效率和适应性方面优于基准模型。

May, 2024

本研究旨在探讨印度尼西亚自然语言处理领域的数据稀缺问题，并提出了一种名为 NusaCrowd 的众包方法，通过聚合印尼语系的数据资源来加强该领域的研究。

Jul, 2022