本文提出一种通过预测分数计算大规模分类中类相似度的方法，并展示如何通过可视化类相似度矩阵揭示支配类别的分层结构和关系，以及如何使用这些结构分析分类行为和推断潜在极端情况。

Jul, 2020

本文介绍了多类分类中的一些性能评估指标，旨在帮助开发人员比较不同分类模型或机器学习技术的性能，以及调整不同参数来分析同一模型的行为。

Aug, 2020

提出了一种名为 “信任得分” 的新型得分，它度量了分类器和在测试示例上修改后的最近邻分类器之间的一致性，证明了高（低）信任得分可产生出人意料的高（低）正确分类的精确度，同时优于分类器的置信度得分以及许多其他的基准方法，并且在一定的分布假设下证明，如果一个示例具有高（低）的信任得分，则分类器可能会与贝叶斯最优分类器达成一致（不一致），这些保证基于拓扑数据分析领域的最近进展，并在各种不同的非参数设置下提供了非渐近统计一致性速率。

May, 2018

模型得分和不确定性对决策边界的选择有关，该研究提供了理论分析和经验证据来证明模型得分估计偏差依赖于不确定性和得分本身，通过动态规划和保序回归算法提出的方案在三个真实数据集上比传统的只使用模型得分方法，在高精确度边界下获得了 25％-40％的召回率提升，凸显了利用不确定性的好处。

Nov, 2023

可视化探索多分类模型，帮助机器学习专家识别学习阶段出现的问题的根本原因，如实例的误分类。本文提出了多 CaM-Vis 交互式可视化工具，该工具提供概览 + 详细信息样式的平行坐标视图和弦图，用于探索和检查类别级别实例的误分类，并报告了一项初步用户研究结果，共有 12 位参与者。

Sep, 2023

机器学习分类问题在生物信息学中很常见，但模型训练、优化和推理所需的技术知识可能阻碍研究人员利用这项技术。本文介绍了一种自动化工具，用于简化机器学习分类问题的训练模型和生成结果的过程，并提供信息丰富的可视化和对数据的洞察。该工具支持二元和多类分类问题，并提供多种模型和方法。界面内可以生成合成数据，以填充缺失值、平衡类别标签或生成全新的数据集。它还支持特征评估，并生成解释性分数以指示哪些特征最影响输出结果。我们提出了 CLASSify，这是一个开源工具，旨在简化解决分类问题的用户体验，无需机器学习知识。

Oct, 2023

本文介绍了一个交互式系统，使用户能够操作图像，探索深度学习图像分类器的稳健性和灵敏度，用户可以使用图像修复算法删除图像特征并实时获得新的分类，从而通过实验性地修改图像并观察模型的反应，提出各种 “如果” 的问题。我们的系统允许用户比较和对比人类和机器学习模型用于分类的图像区域，揭示了一系列惊人的结果，从可观的失败（例如，“水瓶” 图像在去除一个人后变成了 “音乐会” ）到卓越的弹性（例如，“棒球选手” 图像即使没有手套或基座也能正确分类）。我们在 CVPR 会议上展示了我们的系统以供观众直播尝试，我们的系统在 https 网址上开源，视频演示可在此 https 网址上获得。

Jun, 2018

本文提供了一种交互式可视化方法，以支持二元分类器的标定、操作点选择和检验等任务，该方法可以整合到多视图协调系统中，延伸了现有的比较方法，将连续值视为三值（正、不确定、负），并提供了使用案例来展示如何完成关键任务。

Apr, 2022

这项研究介绍了一种新颖的机器学习方法，用于构建多类别可解释评分系统（MISS），这是一种完全数据驱动的方法，用于生成针对多类别分类问题的单一、稀疏和用户友好的评分系统。评分系统在医疗保健、刑事司法和其他需要预测可解释性和易用性的领域中普遍应用为决策支持模型。我们的方法可以通过 softmax 函数轻松将得分转换为类别概率，并展示了降维和启发式技术来增强训练效率并减小模型的最优间隙。实验证明，我们的方法在各个领域的数据集上经过广泛评估，具有与其他机器学习模型相当的分类性能指标，并提供了良好校准的类别概率。

Jan, 2024

通过使用少数类别的数据，可以预测分类器在更多类别情况下的性能表现，以生成分类器为前提，通过估算准确性分布的条件准确性分布的 k-1 时刻，可以提供性能外推的理论基础，同时探讨了方法的稳健性。

Jun, 2016