通过自适应损失平衡在神经网络中进行任意时刻的预测学习

Aug, 2017

通过自适应损失平衡在神经网络中进行任意时刻的预测学习

Learning Anytime Predictions in Neural Networks via Adaptive Loss Balancing

Hanzhang Hu, Debadeepta Dey, Martial Hebert, J. Andrew Bagnell

TL;DR通过从辅助预测中提取 “Anytime” 预测，优化自适应加权和的辅助损失，以平衡损失以相同的比例进行优化的神经网络。实验证明，采用自适应加权的任意神经网络（ANNs）可在较小的网络上比使用静态常数权重的大型网络更快地实现相同的准确性。

Abstract

This work considers the trade-off between accuracy and test-time computational cost of deep neural networks (DNNs) via \emph{anytime} predictions from auxiliary predictions. Specifically, we optimize auxiliary lo

deep neural networks anytime predictions computational cost auxiliary losses adaptive weights

发现论文，激发创造

适应性神经网络的高效推理

通过自适应选取深度神经网络组件或网络进行评估，可以在不损失准确性的情况下，显著减少计算时间，例如在 ImageNet 图像识别挑战中，最多可加速 2.8 倍，并且仅有最高 5 个命中率的轻微损失。

Feb, 2017

通过直接损失最小化训练深度神经网络

本文提出了一种直接损失最小化的方法来训练深度神经网络，特别适用于应用特定的指标，包括提出了新的动态规划算法来高效计算权重更新，最终在行动分类和目标检测方面表现优秀，特别是在存在标签噪声的情况下。

Nov, 2015

利用梯度相似性调整辅助损失

研究使用余弦相似度检测是否辅助损失有助于主要损失，证明该方法保证收敛到主要任务的临界点并在多任务学习和强化学习中实际发挥作用。

Dec, 2018

TIPS: 任意时刻神经网络的拓扑重要路径采样

提出了一种基于马尔可夫链的分析方法，用于自动设计具有任意模型复杂度的神经网络，并且实验证明该方法在多种数据集上能够提高神经网络的准确性和收敛速度。

May, 2023

类自适应网络校准

提出了一种类别自适应标签平滑方法（CALS），在训练过程中允许学习班级特定的乘数，通过在大规模的自适应训练中引入几种修改以量身定制它，以校准深度神经网络，综合评估和多重比较展示了所提出方法的优越性

Nov, 2022

非平稳测试时间适应的逐层自动加权

采用 Fisher 信息矩阵为基础的算法，通过引入逐层自动加权的方法，实现在不断变化的目标分布环境中的模型自适应，以减少遗忘和错误积累，并大大降低计算负载。

Nov, 2023

平均权重导致更宽的随机局部极小值和更好的泛化

通过在 SGD 轨迹上抽样多个点进行简单平均，Stochastic Weight Averaging（SWA）过程实现了比传统训练更好的泛化，SWA 获得了 CIFAR-10、CIFAR-100 和 ImageNet 上多个最先进网络的显着测试精度提高，而且 SWA 实现简单、无几乎不需要计算成本。

Mar, 2018

使用单侧过度估计的不对称损失逼近进行持续学习

本文提出了一种利用非对称二次函数逼近真实损失函数的方法来解决深度神经网络中的灾难性遗忘问题和大规模任务可扩展性问题的连续学习框架，并通过多个挑战性基准数据集的实验结果表明该方法优于现有方法，且可达到接近上限性能。

Aug, 2019

辅助网络：针对动态系统的可扩展和灵活的在线学习，处理不一致可用输入

该研究提出了一种基于深度学习的模型 —— 辅助网络（Aux-Net），其采用加权集成分类器来处理输入特征数量的变化，具有可扩展性和敏捷性。Aux-Net 基于对冲算法和在线梯度下降算法，使用单次学习中的深度变化模型，适用于动态复杂环境，使能够处理不连贯的输入数据。在公共数据集上，实验证明了辅助网络的有效性。

Aug, 2020

关于神经网络分类性能针对加权度量的全面理论优化框架

本文提出了一种完整的理论框架来形式化加权分类度量标准，并构建了可优化这些度量标准的损失函数。该框架包括了经典的成本敏感学习、加权交叉熵损失函数和价值加权技能得分等方法作为特例。

May, 2023