Aug, 2023

RankMixup: 基于排名的Mixup网络校准训练

HTML
PDF
TL;DRRankMixup是一种基于混合的框架，通过Ordinal Ranking Relationship实现网络校准，通过混合系数和置信度之间的顺序关系来提高校准能力，并减少混合标签的问题。
发现论文，激发创造
  • 混合训练：改进的深度神经网络校准和预测不确定性

    通过将混合样本与标签训练，混合训练方法 (mixup) 在图像分类任务中表现出更好的数据增强效果，并且得到了更好的预测可靠性，表现为更好的校准性和更少的过于自信的预测。

    May, 2019

  • 混合和组合方法：用于深度学习中不确定性校准的集成和组合方法

    本文研究了机器学习分类器的后续校准问题，提出了三种不同的校准要求，并通过Mix-n-Match校准策略实现了数据效率和表达能力的显着提高，并提出了一种基于核密度估计的可靠评估方法，结果表明我们的方法在大多数实验设定中表现优于现有的解决方案。

    Mar, 2020

  • 混合数据增强何时如何提高校准性能

    本文通过理论与实验证实，Mixup数据增强技术可以在高维机器学习模型中提高模型信心值的校准性，同时可减少半监督学习中加入未标注数据所带来的校准性问题。

    Feb, 2021

  • 边缘的恶魔：基于边缘的标签平滑方法用于网络校准

    本文研究了深度神经网络在预测时存在过度自信的问题，并提出了一种基于不等式约束的优化方法，以达到最佳判别性能和预测校准性能的折中。

    Nov, 2021

  • 基于混合数据增强的调查：分类、方法、应用和可解释性

    本文提供了对Mix-based Data Augmentation在分类，方法，应用及可解释性等方面的全面调查，为该领域的研究人员提供了有用的方向。

    Dec, 2022

  • 无限类别混淆

    本文提出了一种名为Infinite Class Mixup的基于分类器混合的新型数据增广策略，通过对每个增广样本定义一个唯一的新分类器，而不是对训练对标签进行混合，使得神经网络能够更好地学习不同数据类之间的线性行为模式，并在多种模型上取得了较好的性能表现。

    May, 2023

  • 错配的两面：识别网络校准中的过度自信和不足自信预测

    深度神经网络的适当置信度校准对于安全关键任务中的可靠预测至关重要。近期的研究强调了校准技术引入的置信度过高问题，并成功在各种任务上展示了其成果。然而，置信度过低问题尚未得到足够重视。本文首先引入了一种新的指标，即校准错误评分，用于识别整体和类别上的校准状态，包括置信度过高或过低。我们的指标揭示了现有校准技术存在的缺陷，它们往往过度校准模型，并加剧了置信度过低的预测问题。接着，我们利用类别上的校准错误评分作为代理设计了一种既能应对置信度过高又能应对置信度过低的校准技术。我们进行了大量实验证明我们提出的方法明显优于现有的校准技术。我们还通过风险覆盖曲线在自动故障检测任务上验证了我们的校准技术，结果表明我们的方法提高了故障检测的性能和模型的可信度。可在https://github.com/AoShuang92/miscalibration_TS找到代码。

    Aug, 2023

  • 网络校准的置信度和确定性的多类别对齐

    我们提出了一种基于多类对齐预测均值置信度和预测确定度（MACC）的新的训练时校准方法，通过鼓励模型在预softmax分布中提供低（或高）扩散，从而达到了领域内和领域外预测的最先进校准性能。

    Sep, 2023

  • 拓展边界：Mixup对神经崩溃的影响

    混合增强是一种数据增强策略，通过训练实例及其标签的凸组合来增强深度神经网络的鲁棒性和校准性。本研究深入探讨了混合增强对深度网络训练数据最后一层激活的影响，发现其激活结果呈现独特的几何配置，揭示了混合增强增强模型校准的机制。同时进行理论分析，证明了对于特征模型不受约束的情况下，基于混合增强损失的分类器形成了一个简单的ETF的最优最后一层特征。

    Feb, 2024

  • RC-Mixup：用于回归任务的对抗噪声数据的数据增强策略

    我们研究了在存在噪声数据的回归任务中的鲁棒数据增强问题。我们提出了将C-Mixup和多轮鲁棒训练方法紧密结合的数据增强策略RC-Mixup，以识别干净数据并显著提高回归性能。

    May, 2024