ACLMay, 2024

Open Ko-LLM 排行榜：用 Ko-H5 基准评估大型语言模型在韩语中的表现

PDF
TL;DR该论文介绍了 Open Ko-LLM 排行榜和 Ko-H5 基准作为在韩语中评估大型语言模型 (LLMs) 的重要工具。该工具在韩国 LLM 社区中被广泛接受，并通过引入私有测试集进行数据泄漏分析，证明了私有测试集的好处。此外，论文提出了超越基准测试的需求，并希望通过 Open Ko-LLM 排行榜为扩大 LLM 评估，促进更多的语言多样性树立先例。
open ko-llm leaderboardko-h5 benchmarklarge language models (llms)korean llm communitylinguistic diversity
发现论文，激发创造
  • KoLA：大型语言模型世界知识的精细基准测试

    我们构建了一种基于知识导向的大型语言模型评估基准，并通过使用维基百科和不断收集出现的语料库来确保数据的公正比较，评估 21 个开源和商业大型语言模型的能力和知识相关度。

    Jun, 2023

  • KMMLU：韩国语的大规模多任务语言理解测量

    我们提出了 KMMLU，这是一个新的韩语基准，包括来自 45 个学科的 35,030 个专家级多项选择题，涵盖人文学科到 STEM 学科。与之前从现有英语基准翻译而来的韩语基准不同，KMMLU 收集了来自原始韩语考试的问题，捕捉了韩语的语言和文化方面。我们测试了 26 个公开和专有 LLM 模型，发现有显著的改进空间。最好的公开模型在 KMMLU 上的准确率为 50.54％，远远低于人类平均表现 62.6％。该模型主要用于英文和中文训练，而不是韩语。对于韩语，当前的适用 LLMs，例如 Polyglot-Ko，表现得更差。令人惊讶的是，即使是最强大的专有 LLMs，例如 GPT-4 和 HyperCLOVA X，分别只能达到 59.95％和 53.40％。这表明需要进一步改进韩语 LLMs，而 KMMLU 提供了追踪这一进展的正确工具。我们在 Hugging Face Hub 上公开了我们的数据集，并将这个基准整合到 EleutherAI 的语言模型评估工具中。

    Feb, 2024

  • KOBEST: 韩国重要任务平衡评估

    提出韩文平衡重要任务评估 (KoBEST) 作为一项新的基准数据，旨在为现代语言模型提供韩语下游任务，并且仅由专业的韩国语言学家设计和标注，为其他低资源语言构建基准数据提供新思路。

    Apr, 2022

  • LHMKE：用于中文大语言模型的大规模综合多学科知识评估基准

    LHMKE 是一种大规模、全面和多学科知识评估基准，旨在为中文大型语言模型的知识获取能力提供全面评估。它包括 10,465 个问题，涵盖 30 个学科的 75 个任务，既包含客观题又包含主观题，以更全面评估大型语言模型的知识水平。我们对 11 个中文大型语言模型进行了零 - shot 评估，并比较了它们在不同学科的性能。通过深入分析，我们也验证了 GPT-4 是否能够自动评分主观预测。我们的研究结果表明，LHMKE 是一个具有挑战性和先进性的中文大型语言模型评估标准。

    Mar, 2024

  • HAE-RAE Bench：韩国知识在语言模型中的评估

    通过在 HAE-RAE 评估中发现，相较于全面的通用模型 GPT-3.5，大规模的语言特定模型 (LLSMs) 在语言特定知识检索方面展现出类似的性能水平，强调了使用同质化语料库来训练专业级语言特定模型的重要性，但较小的 LLMs 在生成结构化回答时表现出令人困惑的性能下降。

    Sep, 2023

  • 当基准成为目标：揭示大型语言模型排行榜的敏感性

    利用基准排名构建的大型语言模型（LLM）排行榜经常被用来指导实践者选择模型，但我们展示了这是一个（潜在的昂贵）错误。在现有的排行榜中，LLM 的相对性能对（通常微小的）细节非常敏感。我们通过对多个选择题基准进行实验，比如改变选项的顺序或答案选择方法，我们发现这些微小扰动会导致排名变化高达 8 个位置。我们通过对三类基准扰动进行系统性实验并确定其来源来解释这个现象。我们的分析得出了一些最佳实践建议，包括使用混合评分方法进行答案选择。我们的研究强调了依赖简单基准评估的风险，并规划了更健壮的评估方案的路径。

    Feb, 2024

  • KoDialogBench：韩语对话基准测试用于评估语言模型的对话理解能力

    这项研究介绍了 KoDialogBench，一个用于评估语言模型在韩语会话中的能力的基准测试。实验结果表明，语言模型在会话技能方面仍有很大的改进空间，并且最近的训练技术在增强会话能力方面非常有效。

    Feb, 2024

  • 开发一个可扩展的基准测试，用于评估大型语言模型在知识图谱工程中的表现

    大型语言模型在知识图谱工程方面的性能评估和监控是一个重要问题，我们引入了一个基于知识图谱工程的基准评测框架，涵盖了语法和纠错、事实抽取以及数据集生成三个挑战。通过实验证明，尽管具有一定的实用性，大型语言模型在零样本生成知识图谱方面尚不适用。因此，我们的 LLM-KG-Bench 框架提供了 LLM 响应的自动评估和存储机制，以及统计数据和可视化工具，以支持指导数据和模型性能的追踪。

    Aug, 2023

  • 韩国大型语言模型的实用能力评估

    通过评估 Large Language Models（LLMs）的现状，我们探讨了 LLMs 在韩语背景下的语用能力，包括常规的多项选择题和开放式问题的评估，结果显示 GPT-4 在两种评估设置中表现出色，分别获得 81.11 和 85.69 分，HyperCLOVA X 也得到了良好的分数，尤其在开放式问题的评估中，获得了 81.56 分，与 GPT-4 相比仅相差 4.13 分，而使用 CoT 提示的少样本学习策略则引入了对字面解释的偏见，限制了准确的语用推理能力，这些发现强调了提升 LLMs 在理解和传达超出字面解释的复杂意义方面的重要性。

    Mar, 2024

  • SCALE：高级语言模型评估复杂度的扩展

    该研究引入了一个基于瑞士法律系统的多维 NLP 基准测试，包括长文本处理、领域特定知识拥有、多语言理解、多任务等挑战，该基准测试可以用于测试和推广最先进的 LLMs 模型。

    Jun, 2023