BHASA: 东南亚语言文化综合评估系统

Sep, 2023

BHASA: 东南亚语言文化综合评估系统

BHASA: A Holistic Southeast Asian Linguistic and Cultural Evaluation Suite for Large Language Models

Wei Qi Leong, Jian Gang Ngui, Yosephine Susanto, Hamsawardhini Rengarajan, Kengatharaiyer Sarveswaran...

TL;DR在东南亚语言方面，BHASA 提供了一个综合的语言和文化评估套件，其中包括自然语言理解、生成和推理等任务的 NLP 基准、语言诊断工具包 LINDSEA 以及文化诊断数据集，初步实验发现 GPT-4 在东南亚语言方面的语言能力、文化表达和敏感性等方面存在不足，BHASA 将在未来继续改进和扩展。

Abstract

The rapid development of large language models (LLMs) and the emergence of novel abilities with scale have necessitated the construction of holistic, diverse and challenging benchmarks such as HELM and BIG-bench. However, at the moment, most of these benchmarks focus only on performanc

large language models benchmark sea languages linguistic capabilities cultural representation

发现论文，激发创造

SeaLLMs — 东南亚大型语言模型

通过在 Llama-2 模型的基础上进一步扩展词汇量、专门的指令和对齐调整等方法，我们引入了专注于东南亚语言的创新语言模型系列 SeaLLMs，以解决现有大型语言模型在低资源和区域语言方面的语言偏差问题。经过全面评估，我们发现 SeaLLM-13b 模型在广泛的语言任务和助手式指令跟随能力方面表现出卓越的性能，并且在诸如泰语、高棉语、老挝语和缅甸语等非拉丁语言方面明显优于 ChatGPT-3.5 模型，并且在轻便且经济高效的操作中仍然表现出色。

Dec, 2023

SeaEval 用于多语言基础模型：从跨语言对齐到文化推理

SeaEval 是一个多语种基础模型的评估基准，研究了模型对自然语言的理解、推理能力以及对文化实践、细微差别和价值观的理解。研究发现模型在给予释义指令时表现出不同的行为，许多模型仍存在曝光偏差，对于根源于事实、科学和常识知识的问题，多语种查询的一致性响应预期是相同的，然而大多数模型在这些查询上令人意外地表现出不一致的性能，需要更具有泛化能力的语义表示和增强的多语种上下文化能力。SeaEval 可用于多语种和文化情景下的更全面的调查和评估。

Sep, 2023

SEACrowd: 东南亚语言的多语言多模态数据中心和基准套件

东南亚 (SEA) 是一个语言多样性和文化多样性丰富的地区，拥有 1300 多种土著语言和 6.71 亿人口。然而，现有的人工智能模型在表示东南亚语言的文本、图像和音频数据方面存在显著的不足，损害了东南亚语言的人工智能模型的质量。为了应对这些挑战，我们介绍了 SEACrowd，这是一个协作倡议，它整合了一个全面的资源中心，通过提供近 1000 种东南亚语言的标准化语料库来填补资源缺口。通过我们的 SEACrowd 基准测试，我们评估了 36 种土著语言在 13 个任务上的人工智能模型的质量，为东南亚当前的人工智能发展提供了有价值的见解。此外，我们提出了促进更大的人工智能进展的策略，最大限度地发挥人工智能在东南亚的潜在效用和资源平等性。

Jun, 2024

华南亚地区的大型多语言语言模型：指南

當應用於資源有限的東南亞語言時，大型語言模型的效果明顯下降。為此，我們引入了 CompassLLM，一個專門針對東南亞語言的大型多語言模型，旨在支持 Shopee 的開發需求。我們的方法包括多個關鍵策略，逐步增強多語言能力，並進行低資源語言的訓練，同時整合了課程學習和監督指導微調，以獲得更好的人類指導行為相符的模型，並在自動和人工評估中顯示出優越性能，尤其在東南亞語言中，如印尼語。

Apr, 2024

BenLLMEval：对孟加拉自然语言处理中大型语言模型的潜力和陷阱进行全面评估

评估大型语言模型（LLMs）在低资源语言中的性能，结果显示 LLMs 在各种孟加拉语 NLP 任务中表现不佳，呼吁进一步努力以提高对像孟加拉语这样的低资源语言的 LLMs 的理解

Sep, 2023

HAE-RAE Bench：韩国知识在语言模型中的评估

通过在 HAE-RAE 评估中发现，相较于全面的通用模型 GPT-3.5，大规模的语言特定模型 (LLSMs) 在语言特定知识检索方面展现出类似的性能水平，强调了使用同质化语料库来训练专业级语言特定模型的重要性，但较小的 LLMs 在生成结构化回答时表现出令人困惑的性能下降。

Sep, 2023

语言模型整体评估

我们提出了综合评估语言模型 (HELM) 来提高人们对这一基础技术的透明度，采用多指标方法测量 16 个核心场景的 7 个指标，此外还进行了 7 个有针对性的评估，总结了 25 个高层次结论，并公开了所有模型和完成的原始数据。

Nov, 2022

Sailor：东南亚开放式语言模型

Sailor 是一个面向东南亚语言的一系列开放语言模型，包括从 0.5B 到 7B 参数的模型。通过从 Qwen1.5 继续预训练，Sailor 模型接受 200B 到 400B 个 token，主要涵盖英语、中文、越南语、泰语、印度尼西亚语、马来语和老挝语。实验结果显示，Sailor 模型在常识推理、问答、阅读理解和考试等多个基准任务上表现出强的性能，鼓励开发更多多语种大语言模型的兴趣。

Apr, 2024

通过人工反馈评估大型语言模型：建立瑞典基准

在人工智能领域，大型语言模型在多个应用中展示出显著的能力。然而，这些模型在资源较少的语言（如瑞典语）中的表现尚未深入研究。本研究引入了一种综合的人类基准，通过强制选择排序来评估主要的语言模型在理解和生成瑞典语文本方面的有效性。我们使用改进的 ChatbotArena 基准测试，结合人类反馈来评估包括 GPT-4、GPT-3.5、各种 Claude 和 Llama 模型以及定制模型（如 Dolphin-2.9-llama3b-8b-flashback 和 BeagleCatMunin）等十一种不同模型的性能。这些模型是基于它们在 LMSYS chatbot arena 和 Scandeval 基准测试中的表现选择的。我们发布 chatbotarena.se 基准测试作为一种工具，以改善我们对瑞典语语言模型性能的理解，并希望它能被广泛使用。我们的目标是在收集和分析足够的数据后创建一个排行榜。

May, 2024

MEGAVERSE：跨语言、跨模态、跨模型和跨任务进行大型语言模型基准测试

通过评估 GPT-4 和 PaLM2 在 MEGAVERSE 数据集上的表现，研究发现这两个模型在多个任务上超过了 Llama 模型，尤其是在资源稀缺的语言中，其中 GPT-4 在更多的数据集上优于 PaLM2。然而，为了准确评估非英语语言上 LLM 的性能，我们需要解决数据污染等问题。

Nov, 2023