Mar, 2023

上下文感知选择性标签平滑以校准序列识别模型

PDF
TL;DR本文提出了一种基于上下文的选择性标签平滑方法（CASLS），以解决训练过程中的过度拟合问题以及置信度校准问题，通过利用顺序数据中的上下文依赖性来构造混淆矩阵，并使用类特定错误率来调整平滑强度的权重，从而实现自适应校准。在场景文本识别和语音识别等序列识别任务上的实验结果表明，本文所提出的方法可以实现最先进的性能。
deep neural networkconfidence calibrationsequential datalabel smoothingcontextual dependency
发现论文，激发创造
  • 序列置信度校准的感知和语义感知正则化

    本文提出了一种注意变化、语义相关的序列正则化框架去加强模型对相关序列的监督，同时使用自适应校正强度模块来实现对样本困难度的更细粒度正则化，并在多项序列识别任务中达到先进水平的效果。

    May, 2023

  • ACLS：自适应和条件标签平滑用于网络校准

    我们提出了一种新的损失函数，称为 ACLS，可以有效地调整深度神经网络的网络校准问题，同时避免了现有正则化方法的局限性。

    Aug, 2023

  • 上下文序列似然性：增强自然语言生成的置信分数

    通过为各种标记分配不同的权重，使用从基础语言模型中产生的注意力值来增强预测的序列概率，我们提出了上下文化的序列可能性（CSL）这一新的评分方法。在几个问答数据集和各种语言模型中，CSL 在预测生成质量方面显示出明显更高的可靠性。

    Jun, 2024

  • 类自适应网络校准

    提出了一种类别自适应标签平滑方法（CALS），在训练过程中允许学习班级特定的乘数，通过在大规模的自适应训练中引入几种修改以量身定制它，以校准深度神经网络，综合评估和多重比较展示了所提出方法的优越性

    Nov, 2022

  • 语义分割模型的校准：分析与算法

    研究了语义分割校准的问题，提出了一种简单而有效的选择性缩放方法来校准模型，实验结果表明其在多个基准测试中具有卓越的性能。

    Dec, 2022

  • 自适应标签扰动下的密集分类模型校准

    提出自适应随机标签扰动 (ASLP) 方法，通过学习每个训练图像的独特标签扰动水平，使用自校准二值交叉熵（SC-BCE）损失统一标签扰动过程，最大化预测熵，并通过最小化预测准确度和目标训练标签的预期置信度之间的差距来改善模型校准度。实验结果表明，ASLP 可以显著提高密集二值分类模型在分布内和分布外数据上的校准度。

    Jul, 2023

  • 校准序列似然改进条件语言生成

    本文介绍了序列可能性校准（SLiC）的方法，在序列生成过程中较大束搜索大小时生成质量会下降，通过使用 SLiC 可以不用启用启发式方法，从而显著提高候选解的生成质量。与传统的 MLE 模型相比，我们在许多生成任务中都获得了更好的结果。

    Sep, 2022

  • 改进长尾识别的校准

    本文针对训练数据集不均衡和 miscalibration 等问题，设计了两种方法，分别为标签感知平滑和批次偏移规范化，并在多个长尾识别基准数据集上创造了新记录。

    Apr, 2021

  • 多标签类别增量学习的置信度自校准

    本文提出了一种 Confidence Self-Calibration (CSC) 方法，通过引入类增量图卷积网络进行标签关系校准，并通过最大熵正则化实现每个多标签增量的置信度自校准，从而在 MS-COCO 和 PASCAL VOC 数据集上取得了新的最佳结果，并通过我们的方法确认标签置信度的校准。

    Mar, 2024

  • 基于惩罚约束的分割网络的邻近感知校准

    通过等式约束方式，NACL（Neighbor Aware CaLibration）能够在深度分割网络中实现优越的校准性能，而不影响其判别能力。

    Jan, 2024