利用深度网络的类层次结构改进失误

CVPRDec, 2019

利用深度网络的类层次结构改进失误

Making Better Mistakes: Leveraging Class Hierarchies with Deep Networks

Luca Bertinetto, Romain Mueller, Konstantinos Tertikas, Sina Samangooei, Nicholas A. Lord

TL;DR本篇论文提出了使用图距离和交叉熵损失的两种简单方法来解决深度神经网络中错误严重性的问题，并在两个大型具有复杂类层次结构的数据集（tieredImageNet 和 iNaturalist'19）上优于先前的方法。

Abstract

Deep neural networks have improved image classification dramatically over the past decade, but have done so by focusing on performance measures that treat all classes other than the ground truth as equally wrong. This has led to a situation in which mistakes are less likely to be made

deep learning image classification mistake severity graph distances cross-entropy loss

发现论文，激发创造

深度网络中测试时间无成本似然操纵以减小错误率

研究表明，当前基于层次结构的分类器不能在减少深度学习分类器中较严重错误方面表现出实用的改进。然而，条件风险最小化（CRM）框架作为一种简单又有效的方法，通过修正推理时的错误来修复此问题，同时避免引入过多的超参数或更多的代码。

Apr, 2021

整合领域知识：使用层级结构改进深度分类器

基于 WordNet 类层次结构的机器学习方法提高了 ImageNet 和 NABirds 数据集的分类准确度，并在较短的训练时间内成功匹配了基线模型的细粒度识别性能。

Nov, 2018

人类不确定性使分类更加健壮

本文通过训练具有反映人类知觉不确定性的完整标签分布来解决深度神经网络在泛化和鲁棒性方面存在的问题，并呈现了一个新的基准数据集 CIFAR10H。实验结果表明，基于该数据集的显式训练可以实现深度学习分类器具有人类的不确定性，并提高模型泛化性和抵御对抗攻击能力。

Aug, 2019

卷积神经网络是否学习类别层次结构？

本文研究了卷积神经网络的分类问题，并发现不同类别之间存在层级关系。同时，网络中不同层次的特征检测器的训练行为也在一定程度上受到类别层次结构的影响。根据这些发现，设计了一种层次感知的卷积神经网络，有效提高了模型的准确性并解决过拟合问题，并能够帮助发现训练数据中的各种质量问题。

Oct, 2017

深层神经网络的层级对抗鲁棒性的提升

介绍了一种分类网络设计 -- 分层敌对强韧网络（HAR），将分类任务分解成一个粗分类和多个细分类任务，在经过敌对防御技术的有针对性训练后，极大地提高了神经网络对层次攻击的强度，实验表明对 CIFAR 数据集 L2 和 L∞有显著改进。

Feb, 2021

层次化的选择性分类

部署深度神经网络用于风险敏感任务需要一个不确定性估计机制。本文介绍了分层选择分类，将选择分类扩展到分层环境中。我们的方法利用类别关系的固有结构，使模型在面临不确定性时减少其预测的特异性。本文首先形式化了分层风险和覆盖，并介绍了分层风险覆盖曲线。接下来，我们开发了针对分层选择分类的算法（也称为 “推理规则”），并提出了一种能够以高概率保证目标准确性约束的高效算法。最后，我们对一千多个 ImageNet 分类器进行了大量的实证研究，揭示了诸如 CLIP、ImageNet21k 预训练和知识蒸馏等训练制度提升了分层选择性能。

May, 2024

深度神经网络的置信度感知学习

本文提出了一种基于 Correctness Ranking Loss 的深度神经网络训练方法，可以对类别概率进行显式的正序排名，提高置信度预测。该方法易于实现，不需要额外的计算代价，适用于现有体系结构，并且在分类基准数据集上表现良好。同时，还对置信度估计相关的任务，如超出分布检测和主动学习，具有相同的可靠性。

Jul, 2020

端到端渐进式学习

一项新的增量学习方法使用少量的示例集合来学习深层神经网络，解决了深度学习中的灾难性忘记问题，在 CIFAR-100 和 ImageNet（ILSVRC 2012）图像分类数据集上取得了最先进的成果。

Jul, 2018

深度神经网络分类中低估了分类良好的样本

该研究论文探究了在深度分类模型学习中忽略分类正确但离决策边界较远的数据样本对于表示学习、能量优化和边距增长等问题的影响，并提出了奖励分类正确的这些样本的方法以解决这些问题。该研究通过在图像分类、图分类和机器翻译等任务中进行实证验证，证明了该方法可以显著提高性能并解决不平衡分类、OOD 检测和对抗攻击等复杂场景下的问题。

Oct, 2021

HD-CNN：用于大规模视觉识别的分层深度卷积神经网络

本文提出了一种基于分层结构的深度卷积神经网络 (HD-CNNs)，易分类的类别使用粗分类器进行区分，难分类的类别使用细分类器进行区分，并使用条件执行和层参数压缩等技术提高了可扩展性，成功地在 CIFAR100 和 ImageNet 等基准数据集上取得了最优结果。

Oct, 2014