机器学习模型具备能力的含义

May, 2024

What is it for a Machine Learning Model to Have a Capability?

Jacqueline Harding, Nathaniel Sharadin

TL;DR在本文中，我们利用大语言模型（LLMs）的能力作为运行示例，借鉴能力的大量哲学文献，发展了一个能有效应用于模型评估的机器学习模型能力的条件分析（CAMA）的核心提案，在机器学习的背景下对 CAMA 进行了精确定义，从而实现了适用于 LLMs 的 CAMA 操作。然后，我们运用 CAMA，展示它能够有助于理解机器学习模型评估实践的各种特征，并提出了进行公正的模型间比较的程序。

Abstract

What can contemporary machine learning (ML) models do? Given the proliferation of ML models in society, answering this question matters to a variety of stakeholders, both public and private. The evaluation of models' capabilities is rapidly emerging as a key subfield of modern ML, buoy

machine learning models capabilities model evaluation large language models model abilities

发现论文，激发创造

揭示语言模型能力结构

本研究通过贝叶斯和频率分析结合，从 29 个 LLM 的数据中分析出 LLMs 的能力结构，发现 LLMs 的能力不是单一的，而是可以被解释为三个能力：推理、理解和核心语言建模，并且这三个能力可以解释模型性能的高比例差异，可以用来指导模型的改进和评测。

Jun, 2023

一项测试模型在某些推理任务中的能力的案例研究

大型语言模型在生成个性化内容和促进交互对话方面表现出色，但在推理能力和提供可解释性输出方面仍有待提高。本研究深入探讨了大型语言模型的推理能力，突出了当前挑战和限制，阻碍了它们在复杂推理场景中的有效性。

Feb, 2024

更好的机器学习工程能力

本文介绍了基于能力的框架，旨在使用机器学习模型行为的细粒度规范来统一现有的机器学习工程支持，并通过初步实验展示了能力对于反映模型通用性的潜力以及将其整合到机器学习工程的挑战和机遇。

Nov, 2022

关于使用大型语言模型生成能力本体的研究

使用大型语言模型（LLMs）生成能力本体论，通过一系列试验以及不同提示技术和不同 LLMs 生成的能力来分析生成的本体论的质量

Apr, 2024

了解大型语言模型在文化常识方面的能力和局限性

通过对多个最先进的大型语言模型的文化常识任务的能力和限制进行全面检验，我们发现大型语言模型在文化特定的常识知识上的表现存在显著差异，其通用常识能力受到文化环境的影响，并且提出查询大型语言模型所使用的语言会影响其在与文化相关的任务上的表现，我们的研究指出了大型语言模型在文化理解方面的固有偏见，并提供了帮助开发具备文化意识的语言模型的洞见。

May, 2024

FAC$^2$E：通过区分语言和认知来更好地理解大型语言模型的能力

FAC$^2$E 是一个针对大型语言模型 (LLMs) 的能力评估框架，通过提取 LLMs 的中间推理，将特定能力应用过程分解为三个子步骤，并评估每个细分能力的各个子步骤，从而全面区分 LLMs 的语言相关能力和认知相关能力。利用 FAC$^2$E，我们发现模型中知识利用方面存在常见不足，并提出了一种简单、知识增强的方法来缓解这个问题。我们的研究不仅展示了有希望的性能改进，还为未来 LLMs 的发展方向提供了启示。

Feb, 2024

评估大型语言模型：综述

该研究综述了大型语言模型的评估方法，并提出了知识与能力评估、对齐评估和安全评估三个主要方面的评估方法，以及涵盖能力、对齐、安全和适用性的综合评估平台的构建。希望该综述能够推动对大型语言模型评估的更多研究兴趣，以促进负责任发展和最大化社会利益，同时最小化潜在风险。

Oct, 2023

核心竞争力视角下的大型语言模型评估调查

从预训练语言模型（PLM）到大型语言模型（LLM），自然语言处理（NLP）领域已经取得了明显的性能提升和广泛的实际应用。为了解决评估 LLM 的困难，这篇论文调查了关于 LLM 评估的多篇论文，并总结了 LLM 的四个核心能力，包括推理、知识、可靠性和安全性。在这个能力结构下，相似的任务被合并以反映相应的能力，而新的任务也可以轻松地添加到系统中。最后，给出了关于 LLM 评估未来方向的建议。

Aug, 2023

利用大型语言模型理解因果关系：可行性和机遇

我们分析了大型语言模型（LLMs) 回答因果问题的能力以及它们在三种类型的因果问题中的优势和劣势。我们认为，目前的 LLMs 可以结合现有的因果知识回答因果问题，但它们还不能满足于发现新的知识或高精度的决策任务。我们探讨了可能的未来方向和机会，例如启用显式和隐式因果模块以及深度因果感知 LLMs。这些不仅能够使 LLMs 回答更多不同类型的因果问题，也能使 LLMs 在一般情况下更加值得信赖和高效。

Apr, 2023

理解大型语言模型在自动化规划方面的能力

该研究旨在探讨大型语言模型在自动计划中的应用，研究包括使用何种预训练数据最有效、微调或提示哪种方法最有效以及大型语言模型能否进行计划综合。

May, 2023