深度网络中测试时间无成本似然操纵以减小错误率

Apr, 2021

深度网络中测试时间无成本似然操纵以减小错误率

No Cost Likelihood Manipulation at Test Time for Making Better Mistakes in Deep Networks

Shyamgopal Karthik, Ameya Prabhu, Puneet K. Dokania, Vineet Gandhi

TL;DR研究表明，当前基于层次结构的分类器不能在减少深度学习分类器中较严重错误方面表现出实用的改进。然而，条件风险最小化（CRM）框架作为一种简单又有效的方法，通过修正推理时的错误来修复此问题，同时避免引入过多的超参数或更多的代码。

Abstract

There has been increasing interest in building deep hierarchy-aware classifiers that aim to quantify and reduce the severity of mistakes, and not just reduce the number of errors. The idea is to exploit the label hierarchy (e.g., the WordNet ontology) and consider graph distances as a

hierarchy-aware classifiers label hierarchy mistake severity conditional risk minimization likelihood estimates

发现论文，激发创造

利用深度网络的类层次结构改进失误

本篇论文提出了使用图距离和交叉熵损失的两种简单方法来解决深度神经网络中错误严重性的问题，并在两个大型具有复杂类层次结构的数据集（tieredImageNet 和 iNaturalist'19）上优于先前的方法。

Dec, 2019

深度神经网络的置信度感知学习

本文提出了一种基于 Correctness Ranking Loss 的深度神经网络训练方法，可以对类别概率进行显式的正序排名，提高置信度预测。该方法易于实现，不需要额外的计算代价，适用于现有体系结构，并且在分类基准数据集上表现良好。同时，还对置信度估计相关的任务，如超出分布检测和主动学习，具有相同的可靠性。

Jul, 2020

代价高昂特征的分层多实例数据分类

通过远程服务对恶意网络域名进行分类，并基于具有层次结构的多实例数据的树进行分析，使用分类成本特征、多实例学习和分层决策空间分解的方法来训练强化学习策略以最大化准确性，同时限制成本，能够有效处理结构复杂的数据。

Nov, 2019

不是所有的错误都是相等的：全面层次感知多标签预测（CHAMP）

本文探讨了层次多标签分类问题，并提出了综合层次感知多标签预测（CHAMP）框架，该框架能够根据标签之间的层次关系，对预测错误进行惩罚，实验表明将层次信息纳入多标签分类可显著提升性能。

Jun, 2022

学习分层感知特征以减少错误严重程度

提出了一种学习层次感知特征的方法，该方法利用层次结构中的分类器并使用 Jensen-Shannon Divergence 和几何损失来训练，可以在维持 top-1 误差的情况下改善分类器错误，从而提高分类性能。

Jul, 2022

通过诱导神经崩溃到固定的分层感知框架以降低错误严重性

该研究提出了一种新的深度神经网络架构，通过固定线性分类器到 Hierarchy-Aware Frame (HAFrame)，利用余弦相似度辅助损失函数来学习 collapse 到 HAFrame 的层级感知特征，从而降低模型预测的误差且保持其准确性。

Mar, 2023

基于假设检验的选择性概率分类器

本论文提出一种鉴别器违反封闭世界假设的有效方法，该方法基于概率网络的假设检验拒绝了不确定的输出并实现了低误报率的要求。

May, 2021

在线策略分类中的错误、操控和保证金

在一个在线的战略分类问题中，每个到达的代理可以操纵其真实特征向量以获得正面的预测标签，同时付出依赖于操纵量的成本。学习者在仅能访问操纵后的特征的情况下，试图预测代理的真实标签。之后学习者公布其预测，代理的真实标签被揭示。我们提供两种新算法，旨在在战略代理行为的情况下恢复最大边界分类器。我们证明了各种代理成本结构的收敛性、有限错误和有限操纵保证。我们还提供了针对不同成本的具有错误保证的战略感知器的广义版本。我们对真实数据和人工合成数据进行的数值研究表明，新算法在边界、操纵数量和错误数量方面优于以前的算法。

Mar, 2024

层次化的选择性分类

部署深度神经网络用于风险敏感任务需要一个不确定性估计机制。本文介绍了分层选择分类，将选择分类扩展到分层环境中。我们的方法利用类别关系的固有结构，使模型在面临不确定性时减少其预测的特异性。本文首先形式化了分层风险和覆盖，并介绍了分层风险覆盖曲线。接下来，我们开发了针对分层选择分类的算法（也称为 “推理规则”），并提出了一种能够以高概率保证目标准确性约束的高效算法。最后，我们对一千多个 ImageNet 分类器进行了大量的实证研究，揭示了诸如 CLIP、ImageNet21k 预训练和知识蒸馏等训练制度提升了分层选择性能。

May, 2024

战略分类的学习损失

本文研究了利用学习理论来生成具有鲁棒性的决策规则，以及针对机器学习领域中存在的潜在的策略操纵问题，提出了一种新的损失函数，称为策略操纵损失，分析了在已知操纵网络结构和未知操纵网络结构下的学习样本复杂度，并且基于迁移学习技术，定义了一种相似度度量，用于度量操纵网络结构的相似度，得到了具有鲁棒性的学习结果。

Mar, 2022