TEL'M: 语言模型的测试和评估
MLTE 框架是一种机器学习模型和系统评估的方法，通过将现有的评估技术编译成团队间的组织过程，支持跨学科团队对模型进行测试和评估，为团队提供领域特定语言、评估指标收集系统和交互功能。
Mar, 2023
大语言模型的评估方法学的引入和标准化是一个重要的挑战，本文追溯了 LLM 评估的历史轨迹，从 Alan Turing 提出的基础问题到现代人工智能研究的时代。我们将 LLM 的发展划分为不同的时期，每个时期都有其独特的基准和评估标准。随着 LLM 越来越像人类行为，传统的评估指标，如图灵测试，变得不太可靠了。我们强调了对统一评估体系的迫切需求，考虑到这些模型的更广泛的社会影响。通过对常见评估方法的分析，我们主张在评估方法上进行定性转变，强调标准化和客观标准的重要性。本研究呼吁人工智能社区共同解决 LLM 评估的挑战，确保其可靠性、公正性和社会利益。
Nov, 2023
在自然语言处理领域中，本研究通过对四个知名的大型语言模型（Llama-2，Falcon，Mistral 和 Zephyr）进行全面的零样本评估，与最先进的微调模型进行性能比较，评估了大型语言模型在电信领域内的知识和理解能力，并发现零样本的大型语言模型能够在这一领域内达到与当前最先进微调模型相当的性能水平，突显了大型语言模型作为理解这一领域不足的各个方面的有价值资源的潜力。
Feb, 2024
大语言模型（LLMs）的评估方法是研究这些模型的重要组成部分，这篇综述介绍了评估 LLMs 的方法和维度，并总结了 LLMs 在不同任务中的成功案例、失败案例和未来挑战。
Jul, 2023
我们提出了综合评估语言模型 (HELM) 来提高人们对这一基础技术的透明度，采用多指标方法测量 16 个核心场景的 7 个指标，此外还进行了 7 个有针对性的评估，总结了 25 个高层次结论，并公开了所有模型和完成的原始数据。
Nov, 2022
本文介绍了一种基于迭代 “自我对弈” 技术的文本增强语言模型方法，使用不可微分的工具扩充语言模型功能，成功在知识丰富型问答和简单工具所需的数学任务中具有很强的表现力，优于非增强型语言模型，在 QA 和数学任务的超越分布推理方面更是取得了成功，证明了工具增强型语言模型是一种非常有前景的方法，可以使语言模型在不依赖于模型（尺度）的基础上具备更多的能力。
May, 2022
大型语言模型 (LLMs) 在最近因其出色的理解和推理能力而受到了广泛关注，取得了许多领域的巨大进展。LLM 技术的进步也为电信领域的许多任务自动化提供了有希望的机会。本工作旨在提供 LLM-enabled 电信网络的全面概述，介绍了 LLM 的基本原理、关键技术和电信应用，并给出了未来发展方向。
May, 2024
该研究综述了大型语言模型的评估方法，并提出了知识与能力评估、对齐评估和安全评估三个主要方面的评估方法，以及涵盖能力、对齐、安全和适用性的综合评估平台的构建。希望该综述能够推动对大型语言模型评估的更多研究兴趣，以促进负责任发展和最大化社会利益，同时最小化潜在风险。
Oct, 2023
综述探讨了在医疗保健领域中应用大型语言模型 (LLMs) 的广泛应用和必要的评估，强调了充分利用这些模型提升医疗保健结果的能力的关键验证需求。
Apr, 2024