机器学习算法的多维能力诊断

Jul, 2023

Multi-Dimensional Ability Diagnosis for Machine Learning Algorithms

Qi Liu, Zheng Gong, Zhenya Huang, Chuanren Liu, Hengshu Zhu...

TL;DR本文提出了一个基于心理测量理论的评估框架 Camilla，在多项技能上协作地度量每个机器学习算法的多方面的能力，并在公共数据集上证明了其比现有方法更具有可靠性、排名一致性和稳定性。

Abstract

machine learning algorithms have become ubiquitous in a number of applications (e.g. image classification). However, due to the insufficient measurement of traditional metrics (e.g. the coarse-grained Accuracy of each classifier), substantial gaps are usually observed between the real-

machine learning evaluation framework psychometric theories cognitive diagnosis assumptions neural networks

发现论文，激发创造

模型无关的泛化困难度度量

该研究提出了第一个与模型无关的任务内在泛化难度度量，称为归纳偏差复杂度度量，该度量可以应用于计算和比较监督学习、增强学习和元学习的泛化难度。

May, 2023

机器学习模型具备能力的含义

在本文中，我们利用大语言模型（LLMs）的能力作为运行示例，借鉴能力的大量哲学文献，发展了一个能有效应用于模型评估的机器学习模型能力的条件分析（CAMA）的核心提案，在机器学习的背景下对 CAMA 进行了精确定义，从而实现了适用于 LLMs 的 CAMA 操作。然后，我们运用 CAMA，展示它能够有助于理解机器学习模型评估实践的各种特征，并提出了进行公正的模型间比较的程序。

May, 2024

用贝叶斯三角测量推断任务绩效中的能力

从多样的实验数据中推断系统的认知特征，我们介绍了一种方法来描述机器学习模型，引入测量布局来模拟任务实例特征与系统能力如何影响性能，使用贝叶斯概率编程库 PyMC 推断出不同认知特征的代理在动物人工智能奥林匹克的 68 名实际参赛选手和 O-PIAAGETS 的 30 个合成代理的能力，展示了基于能力的评估的潜力。

Sep, 2023

分类器数据质量：一种基于几何复杂度的自动基线和见解生成方法

该研究开发了复杂度量度，可用于量化观测数据的分类复杂度并确定基准性能阈值，其有效突出可能被错误分类的数据区域和观测数据。

Dec, 2021

基于多准则比较的知识引导机器学习方法的推进

描述了一种有应用广泛的模型评估方法，能够根据核心科学原理和更实用的结果评估人工智能 / 机器学习模型。该方法通过心理学和决策科学的预测竞赛产生，对各种类型和结构的候选模型进行了多个科学、理论和实际标准的综合评估，使用计算社会选择领域的投票规则进行标准分数的排序评估，可以对不同测量和模型类型进行整体评价。还讨论了其他优势和应用。

Mar, 2024

LLM 认知能力的高效测量：自适应测试视角

提出了一种采用自适应测试框架评估大型语言模型的方法，该方法可以根据模型的表现动态调整测试问题的难度，从而更准确地估计模型的能力，使得大型语言模型可以与人类进行比较，同时该方法可以使用更少的问题，从而更加高效。对 ChatGPT 等 6 种模型进行了细粒度诊断，并通过不同测试发现 GPT4 模型在主题知识、数理推理和编程方面表现优异，可以达到中等水平学生的认知能力水平。

Jun, 2023

DeepGauge: 深度学习系统的多粒度测试标准

该论文提出深度学习系统的多层次测试标准 DeepGauge，以应对其漏洞和不足，经过对多个数据集和攻击技术的分析得出结果，有望构建更加稳健的深度学习系统。

Mar, 2018

关于机器学习数据质量维度与工具的调研

机器学习中数据质量评估工具的回顾与比较，提出了开源数据质量工具发展的路线图，并探讨了大型语言模型和生成式人工智能在数据质量评估和改进中的潜在应用。

Jun, 2024

阿尔茨海默病早期诊断的语义连贯性标记

本文研究了如何使用语言模型通过困惑度指标对语言进行分析并区分精神障碍和健康受试者。结果表明，困惑度可以是一种有价值的分析指标，可潜在应用于支持精神障碍症状的早期诊断。

Feb, 2023

智能系统认知特征评估及预测能力评估

本文提出了一种智能系统评估通用双轴刻度。该刻度考虑了智能系统在环境背景下随时间发展的特性，强调了预期能力对于其计算能力的调节影响，并讨论了解决问题的正确性和适当性如何与解决能力本身的正确使用联系起来。

Sep, 2022