本论文介绍了 JSICK，一个从英语数据集 SICK 人工翻译而来的日语 NLI/STS 数据集。我们对不同的预训练语言模型进行了基准实验，并比较了多语言模型在日语和其他语言中的表现。压力测试实验的结果表明，当前的预训练语言模型对于单词顺序和语义标记不敏感。

Aug, 2022

提出韩文平衡重要任务评估 (KoBEST) 作为一项新的基准数据，旨在为现代语言模型提供韩语下游任务，并且仅由专业的韩国语言学家设计和标注，为其他低资源语言构建基准数据提供新思路。

Apr, 2022

大型语言模型（LLMs）要在特定国家有效部署，必须具备对该国文化和基本知识的理解。为此，我们引入了国家对齐度的概念，它从社会价值对齐和共同知识对齐两个方面度量了 LLM 与目标国家之间的一致性。我们构建了 KorNAT，这是第一个用于衡量 LLM 与韩国的国家对齐度的基准。通过社会价值数据集和基本知识数据集对 LLM 进行评估，并且实验结果表明只有少数模型达到了我们的参考分数，具有进一步提升的潜力。KorNAT 经过政府机构评估后获得了政府批准，我们的数据集的样本和评估协议可以在 https://selectstar.ai/ko/papers-national-alignment# 找到。

Feb, 2024

本文介绍了 SciNLI，它是一个用于 NLU 的大型 NLI 数据集，旨在捕捉科学文本中的规范性，并包含 107,412 个从 NLP 和计算语言学方面的学术论文中提取的句子对。我们的实验表明，SciNLI 比现有的 NLI 数据集更难分类。使用 XLNet 的最佳模型仅实现了 78.18％的 Macro F1 得分和 78.23％的准确度，表明还有很大的改进空间。

Mar, 2022

我们提出了 IndoNLI 数据集，这是第一个人类收集的适用于印度尼西亚语的 NLI 数据集。我们采用 MNLI 的数据收集协议，收集了近 18K 个由众包工人和专家标注的句子对。实验结果表明，在我们的数据中，XLM-R 的性能优于其他预训练模型。最佳性能仍然远低于人类性能（13.4％的准确度差距），表明此测试集具有特别的挑战性。此外，我们的分析显示，我们的专家标注数据比众包标注数据更加多样化，注释工件更少。我们希望这个数据集可以帮助加快印尼自然语言处理研究的进展。

Oct, 2021

该研究介绍了韩语问答数据集（KorQuAD），这是一个用于机器阅读理解的大型韩语数据集，有助于自动回答语音机器人和自动化客户支持系统的开发。

Sep, 2019

通过自动生成的 NLI 数据集和以往方法相比，使用 Decoder-based 大型语言模型进行 fine-tuning，在无监督学习的情况下改进了句子嵌入的学习，达到了与人工评估相关系数 82.21 的平均水平，从而优于现有方法而不使用大量人工标注的数据集。

Feb, 2024

对印尼本土语言进行案例研究的结果表明，原生说话者通过段落撰写所生成的数据集在词汇多样性和文化内容方面优质，有助于推广自然语言处理技术到较少研究的语言领域。

Sep, 2023

本研究介绍了一种基于大规模语言模型的韩文文化与语言智能测评方法，并提供了相关数据集 CLIcK，通过 13 种语言模型的评估揭示了它们在各个领域的表现和影响因素。

Mar, 2024

介绍了 DocNLI 数据集，它是基于广泛的 NLP 问题构建的，涵盖了文本的多种类型和文档层级上的 NLI，而不是仅仅句子层级上的。实验表明，即使没有微调，预训练于 DocNLI 上的模型在流行的句子级基准测试中表现良好，并且推理到文档层级上的跨域 NLP 任务具有良好的泛化性能。

Jun, 2021