AAAIDec, 2020

标准化标签分布：实现学习校准、适应性和高效激活图

PDF
TL;DR本文研究了分类网络在面对数据异常和对抗攻击时准确性和可校准概率分布的平衡，在探讨标签平滑正则化和标准化方法对数据泛化性和校准概率分布的影响时提出了正则化软标签的方法，将传统卷积转化为基于填充的局部卷积，以加强性能和收敛速率。
classification networkadversarial attackslabel-smoothing regularizationnormalized soft labelspartial convolution
发现论文，激发创造
  • 类自适应网络校准

    提出了一种类别自适应标签平滑方法（CALS），在训练过程中允许学习班级特定的乘数，通过在大规模的自适应训练中引入几种修改以量身定制它，以校准深度神经网络，综合评估和多重比较展示了所提出方法的优越性

    Nov, 2022

  • ACLS：自适应和条件标签平滑用于网络校准

    我们提出了一种新的损失函数，称为 ACLS，可以有效地调整深度神经网络的网络校准问题，同时避免了现有正则化方法的局限性。

    Aug, 2023

  • 通过与对抗鲁棒性的关系来提高校准

    该论文研究神经网络的对抗强度和校准之间的联系，并提出了 Adversarial Robustness based Adaptive Label Smoothing (AR-AdaLS) 方法，以提高模型校准和鲁棒性。该方法可应用于单个模型和集成模型，可在数据偏移情况下实现更好的校准结果。

    Jun, 2020

  • 现代神经网络的校准

    深入实验和分析，提出了温度缩放法的简单有效性，可以解决现代神经网络中分类器的置信度校准问题。

    Jun, 2017

  • 随机语义分割的校准对抗修正

    该研究提出了一种通过使用概率网络来学习预测分布，以实现语义地图上的校准预测分布的策略，并使用对抗性训练来精炼输出，并在多分类 LIDC 数据集和注入模糊性的 Cityscapes 数据集上取得最先进结果。

    Jun, 2020

  • 重新审视现代神经网络的校准

    本文研究了神经网络模型的预测不确定性及其校准问题，并发现不使用卷积层的最新模型的校准性能最好，模型大小和预训练量并不能完全解释这些差异，表明模型架构是影响校准性能的主要因素。

    Jun, 2021

  • 深度学习中的一致置信现象及其对校准的影响

    本文研究了深度神经网络模型校准方面的现有问题，并发现这类模型存在大量 “几乎确定” 置信度，导致常常过于自信。同时，文章提出可采用 Mixup 数据增强技术中的修改损失函数的方法来解决此类问题。

    Jun, 2023

  • 神经网络回归中概率校准的大规模研究

    本文通过最大实证研究来评估神经网络的概率校准和比较多种校准方法，并发现正则化方法在概率校准和锐度之间提供有利的权衡，而修正方法具有更好的概率校准。同时，我们还展示了分位数校准可以被视为一种特定的修正方法，并论证了修正方法的概率校准优势来自于有限样本覆盖的保障。

    Jun, 2023

  • 边缘的恶魔：基于边缘的标签平滑方法用于网络校准

    本文研究了深度神经网络在预测时存在过度自信的问题，并提出了一种基于不等式约束的优化方法，以达到最佳判别性能和预测校准性能的折中。

    Nov, 2021

  • 基于实例的标签平滑技术用于更好的校准分类网络

    提出了两种新的基于实例的标签平滑方法，其中使用以硬独热标签训练的教师网络来确定应用于每个实例的每个类别的平滑度量。根据类别与实际类别的相似性，分配平滑因子。在各种深度神经体系结构和图像分类数据集上，我们的方法显示出比标准标签平滑更好的泛化和校准性。

    Oct, 2021