ICCVSep, 2019

Anchor Loss: 基于预测难度调整损失比例

PDF
TL;DR我们提出了一种新的损失函数，它根据样本的预测难度动态重新调整交叉熵，以解决深度神经网络在图像分类和人体姿势估计中无法准确区分相似对象和对称身体部位的问题。该损失函数惩罚网络以避免虚假预测的分数显著，我们在两种不同的领域中评估它，并发现与基线方法相比，在两个应用程序中都实现了更高的准确性。
loss functionprediction difficultyneural networkimage classificationhuman pose estimation
发现论文，激发创造
  • 使用陡峭斜率损失函数学习预测可信度

    本文研究了在真实世界的大规模数据集中预测可信度的问题，引入了一种新的陡峭斜率损失函数，来提高预测器的泛化能力，并在 ImageNet 数据集上对其进行了实验和分析。

    Sep, 2021

  • 序列预测任务损失估计

    本文提出了一种新的方法来推导可微的替代损失函数，以用于训练包含每个输入 - 输出对的得分的模型，并在语音识别任务中证明了其有效性。

    Nov, 2015

  • 自适应均值残差损失用于鲁棒的面部年龄估计

    本文提出了一种简单而有效的损失函数，即自适应均值残差损失用于鲁棒人脸年龄估计，并通过 FG-NET 和 CLAP2016 数据集证实了其有效性。

    Mar, 2022

  • 深度神经网络的置信度感知学习

    本文提出了一种基于 Correctness Ranking Loss 的深度神经网络训练方法，可以对类别概率进行显式的正序排名，提高置信度预测。该方法易于实现，不需要额外的计算代价，适用于现有体系结构，并且在分类基准数据集上表现良好。同时，还对置信度估计相关的任务，如超出分布检测和主动学习，具有相同的可靠性。

    Jul, 2020

  • 深度学习模型中重新评估损失函数：增强对标签噪声的鲁棒性

    本文提出了一种针对大型数据集中的标注错误而设计的噪声鲁棒性损失函数，并研究了该损失函数的应用及如何选择适当的损失函数，在 cifar-100 数据集上表现出色，此外还提出了一种新的 Bounded Cross Entropy 损失函数。

    Jun, 2023

  • 从结构和动作学习 3D 人体姿势

    使用两种解剖启发的损失函数和弱监督学习框架，结合大规模野外 2D 和室内 / 合成 3D 数据共同学习人体姿态估计。还提出了一个简单的时间网络来调和预测的姿态序列，并通过损失表面可视化和敏感性分析仔细分析了所提出的贡献的工作机制。我们的完整流程在 Human3.6M 和 MPI-INF-3DHP 上分别提高了 11.8％和 12％，并在普通图形卡上以 30 FPS 运行。

    Nov, 2017

  • 主动学习中的学习损失

    本文提出了一种新颖的主动学习方法，使用一个小的参数模块 “loss prediction module” 来预测未标注数据的损失值，并基于此向其他特征不确定的数据请求人类进行标注，可以适用于深度神经网络的所有任务，结果表明该方法在图像分类、物体检测和人体姿态估计等任务中优于之前的方法。

    May, 2019

  • 人体姿势估计的校准

    该研究论文介绍了解决姿势估计中的误校准问题的方法，通过理论分析和网络调整实现了准确度的显著提升，并提出了一种轻量级后期增益算法（CCNet），可进一步改善准确度。

    Nov, 2023

  • 用于改进对语义分割的对抗攻击的不确定性加权损失函数

    本文介绍了一种基于不确定性加权方案的损失函数，用于对抗攻击，通过将更容易受到干扰的像素分类放大并清零已经被错误分类的像素的损失，以提高扰动性能。在多个数据集和模型的实证分析中，我们证明了这些加权方案能够显著改善扰动性能。

    Oct, 2023

  • 使用 Focal Loss 对抗浅层启发式：一项关于调制交叉熵在自然语言推理中的经验分析

    本文探讨了使用改进的交叉熵损失函数 focal loss 来约束模型并提高泛化性能的方法，并在自然语言推理方面进行了实验，展示了 focal loss 对学习过程的正则影响，提高了对未知数据的准确性，但其相对于其他方法（如无偏置聚焦损失和自我偏置集合）的性能不如。

    Nov, 2022