Feb, 2024

韩国社会价值和常识的LLM对齐基准(KorNAT)

TL;DR大型语言模型(LLMs)要在特定国家有效部署,必须具备对该国文化和基本知识的理解。为此,我们引入了国家对齐度的概念,它从社会价值对齐和共同知识对齐两个方面度量了LLM与目标国家之间的一致性。我们构建了KorNAT,这是第一个用于衡量LLM与韩国的国家对齐度的基准。通过社会价值数据集和基本知识数据集对LLM进行评估,并且实验结果表明只有少数模型达到了我们的参考分数,具有进一步提升的潜力。KorNAT经过政府机构评估后获得了政府批准,我们的数据集的样本和评估协议可以在https://selectstar.ai/ko/papers-national-alignment#找到。