Feb, 2025
SEA-HELM:东南亚语言模型的综合评估
SEA-HELM: Southeast Asian Holistic Evaluation of Language Models
Yosephine Susanto, Adithya Venkatadri Hulagadri, Jann Railey Montalan, Jian Gang Ngui, Xian Bin Yong...
TL;DR本研究针对现有语言模型评估工具在东南亚语言方面并不全面的缺陷,提出了SEA-HELM评估套件,强调东南亚语言的多元文化和语言特性。该套件基于五个核心支柱,提供了一个系统友好的平台,允许用户全面理解模型在多语言和多文化上的表现。这一工具将显著推动对东南亚语言模型的深入研究和应用。