May, 2024

层次化的选择性分类

PDF
TL;DR部署深度神经网络用于风险敏感任务需要一个不确定性估计机制。本文介绍了分层选择分类，将选择分类扩展到分层环境中。我们的方法利用类别关系的固有结构，使模型在面临不确定性时减少其预测的特异性。本文首先形式化了分层风险和覆盖，并介绍了分层风险覆盖曲线。接下来，我们开发了针对分层选择分类的算法（也称为 “推理规则”），并提出了一种能够以高概率保证目标准确性约束的高效算法。最后，我们对一千多个 ImageNet 分类器进行了大量的实证研究，揭示了诸如 CLIP、ImageNet21k 预训练和知识蒸馏等训练制度提升了分层选择性能。
deep neural networksuncertainty estimationhierarchical selective classificationhierarchical risk-coverage curvesimagenet classifiers
发现论文，激发创造
  • 深度神经网络的选择性分类

    本文提出了一种构造选择分类器的方法，可在风险可控的情况下使用深度神经网络进行分类，解决了在深度神经网络中使用拒绝选项技术的问题，有效提高了分类器性能，成功实现了在 ImageNet 上顶部 5 项分类的 2% 错误率，并且测试覆盖率达到近 60%，为深度神经网络在关键应用中的应用提供了可能性。

    May, 2017

  • 523 个 Imagenet 分类器的选择性预测和不确定性估计性能有什么可学之处

    本文考察 523 个现有的深度图像分类器在选择性预测和不确定性估计性能方面的表现，发现蒸馏型训练方案普遍比其他训练方案具有更好的估计不确定性的能力，ViT 模型在不确定性估计方面的表现超过其他模型。

    Feb, 2023

  • 自信感感知的对比学习用于选择性分类

    选择性分类是在高风险场景中提高安全性和可靠性的一种方法，本研究提出了一种基于置信度感知对比学习的新型选择性分类模型，该模型通过改进特征层次来提高选择性分类的性能，实验证明它明显降低了选择性风险。

    Jun, 2024

  • 深度神经网络选择性分类基准测试

    通过对包含图像和表格数据的多样化数据集进行实证评估，该研究对 18 种基线模型进行基准测试，比较了它们在选择错误率、实证覆盖率、被拒绝实例类别分布以及在分布外实例上的性能等多个方面的表现，结果显示没有一个明确的最佳方法，最好的方法取决于用户的目标。

    Jan, 2024

  • 医学图像分割网络的层次化不确定性估计

    建立可信赖的图像分割模型既需要评估其性能又需要估计模型预测的不确定性。本研究提出了一种利用多层不确定性模块估计图像分割的简单有效方法，并证明了采用此方法实现的深度学习分割网络能够同时实现高分割性能和有意义的不确定性图，可用于识别分布之外的数据。

    Aug, 2023

  • 哪些模型天生就擅长不确定性估计？

    探讨深度神经网络架构与训练机制与其相应的选择性预测和不确定性估计性能的关系，并在 484 个预训练的深度 Imagenet 分类器中进行了全面的选择性预测和不确定性估计性能研究，发现 ViT 架构在不确定性估计性能方面表现最优。

    Jun, 2022

  • 朝着更好的选择性分类

    本文提出了一种在分类器内部实现选择机制的方法与一种基于熵的正则化器，并取得了新的最高水平表现。

    Jun, 2022

  • 一种远程感知场景分类的分层方法

    使用层级方法设计的卷积神经网络框架在遥感场景分类中表现良好，但叠加结构中的分类错误累积阻碍了其分类性能超越非层级深层模型。

    Mar, 2021

  • 利用深度网络的类层次结构改进失误

    本篇论文提出了使用图距离和交叉熵损失的两种简单方法来解决深度神经网络中错误严重性的问题，并在两个大型具有复杂类层次结构的数据集（tieredImageNet 和 iNaturalist'19）上优于先前的方法。

    Dec, 2019

  • 选择高层特征：来自层次分类网络的高效专家

    该研究引入了一种新的专家生成方法，它通过将顺序处理通用低级特征与高级特征的并行和嵌套结合起来的新的分层分类网络拓扑结构，实现了动态降低任务和计算复杂度的能力。该方法在资源受限条件下能够选择只有任务相关类别的高级特征，可以显著减少推理成本，对于轻量级和可适应性的网络设计具有前瞻性意义。在动态推理方面，我们的方法可以排除高达 88.7% 的参数和 73.4% 的 GMAC 操作，与比较基准相比，在所评估的案例中，平均减少了 47.6% 的参数和 5.8% 的 GMAC 操作。

    Mar, 2024