May, 2024

通过人工反馈评估大型语言模型：建立瑞典基准

PDF
TL;DR在人工智能领域，大型语言模型在多个应用中展示出显著的能力。然而，这些模型在资源较少的语言（如瑞典语）中的表现尚未深入研究。本研究引入了一种综合的人类基准，通过强制选择排序来评估主要的语言模型在理解和生成瑞典语文本方面的有效性。我们使用改进的 ChatbotArena 基准测试，结合人类反馈来评估包括 GPT-4、GPT-3.5、各种 Claude 和 Llama 模型以及定制模型（如 Dolphin-2.9-llama3b-8b-flashback 和 BeagleCatMunin）等十一种不同模型的性能。这些模型是基于它们在 LMSYS chatbot arena 和 Scandeval 基准测试中的表现选择的。我们发布 chatbotarena.se 基准测试作为一种工具，以改善我们对瑞典语语言模型性能的理解，并希望它能被广泛使用。我们的目标是在收集和分析足够的数据后创建一个排行榜。
artificial intelligencelarge language modelsswedish languagebenchmarkperformance evaluation
发现论文，激发创造
  • 使用 MT-Bench 和 Chatbot Arena 判断 LLM 作为法官

    本研究介绍了使用强大的大型语言模型（LLM）作为评价者来评估基于 LLM 的聊天助手的方法，并引入了多个类别的评价指标。研究结果表明，LLM 评价者可以很好地匹配人类的偏好，且其评估结果与人类评估者的结果一致。

    Jun, 2023

  • 生成人工智能时代下的大型语言模型评估标准的不足

    通过以人、过程和技术为视角，功能性和安全性为支柱，使用我们的统一评估框架，对 23 个最先进的 LLM 基准进行了研究，发现了显著的限制，并强调了在人工智能进步的背景下，标准化方法、监管确定性和伦理指南的迫切需求，以及通过协作努力发展被广泛接受的基准和增强人工智能系统融入社会的重要性。

    Feb, 2024

  • Chatbot Arena: 通过人类偏好评估 LLM 的开放平台

    Chatbot Arena 是一种基于人类偏好评估大型语言模型的开放平台，通过对接受众来源的成对比较和众包输入的方式收集数据，并使用经过验证的统计方法进行评估和排名，以确保其可靠性和可信度，成为最有价值和最引用的大型语言模型排行榜之一。

    Mar, 2024

  • MEGAVERSE：跨语言、跨模态、跨模型和跨任务进行大型语言模型基准测试

    通过评估 GPT-4 和 PaLM2 在 MEGAVERSE 数据集上的表现，研究发现这两个模型在多个任务上超过了 Llama 模型，尤其是在资源稀缺的语言中，其中 GPT-4 在更多的数据集上优于 PaLM2。然而，为了准确评估非英语语言上 LLM 的性能，我们需要解决数据污染等问题。

    Nov, 2023

  • 制造业中使用大语言模型的知识分享：用户评估与模型基准测试

    工厂知识管理的关键是高效地处理知识。本研究使用基于大型语言模型的系统，通过利用工厂文档中的广泛知识，旨在有效回答操作员的查询并促进新知识的分享。在工厂环境中进行的评估结果显示该系统具有快速信息检索和更高效问题解决的优势，然而研究还表明在有人类专家可用时，人们更倾向于向其学习。此外，我们还对该系统进行了几个闭源和开源大型语言模型进行基准测试，GPT-4 始终优于其他模型，而开源模型如 StableBeluga2 则紧随其后，提供了数据隐私和定制化方面的吸引力。总体而言，该研究为考虑采用大型语言模型工具进行知识管理的工厂提供了初步见解。

    Jan, 2024

  • 使用大型语言模型评估聊天的三种方法

    本文通过三种不同的方法，基于大型语言模型（LLMs）对于 ChatGPT 响应的逐轮质量进行预测，并使用动态少量样本来改善基准，并分析了其他两种方法的性能并提出未来研究的改进。研究表明，Llama 2 模型正在缩小 ChatGPT 和开源 LLMs 之间的性能差距，但发现 Llama 2 模型不能像 ChatGPT 那样从少量样本中受益。

    Aug, 2023

  • 西班牙语和 LLM 基准：MMLU 是否被翻译迷失？

    评估大型语言模型在其他语言中表现的质量，并修正翻译错误以及适应目标语言的测试项是改进非英语语言基准测试的关键。

    May, 2024

  • 语言模型委员会：以共识的方式对高度主观任务进行基准测试基础模型

    通过民主过程提出了一种新的基准框架 —— 语言模型委员会（LMC），用于在高度主观的任务中对大型语言模型进行排名，通过平等参与来制定测试集，通过集体评估响应来产生更可分离、强健且较少偏差的排名。

    Jun, 2024

  • 超越指标：评估 LLM 在文化细微、资源贫乏的真实场景中的有效性

    评估了在多语言和代码混合通信环境中使用的七个领先大型语言模型（LLMs）的情感分析性能，发现 GPT-4 和 GPT-4-Turbo 在理解语言输入和处理上下文信息方面表现出色，与人的一致性高且决策过程透明，但在非英语环境中的文化细微差别方面存在不稳定性，结果强调了 LLMs 不断改进以有效应对文化差异、资源有限的真实世界环境的必要性。

    Jun, 2024

  • 对话评估工作台：将 LLMs 作为类人对话系统进行评估

    本文提出了 DialogBench，这是一个用于评估 LLMs 作为类似人类对话系统的能力的对话评估基准，包含 12 个对话任务。通过对 28 个 LLMs 进行广泛的测试，结果表明虽然细化调整能改善 LLMs 的人类对话系统相似度，但对于大多数 LLMs 仍有提升空间。

    Nov, 2023