Nov, 2019

数据失衡的 NLP 任务的 Dice Loss

PDF
TL;DR本研究提出了一种新的 dice loss 网络训练目标替代 cross-entropy 目标，以解决 NLP 任务中数据失衡的问题，并且在多项任务中均取得了显著的性能提升。
nlpdata imbalancedice losstraining objectiveperformance boost
发现论文，激发创造
  • 论骰子损失函数的梯度及其模拟方法

    研究神经网络的监督语义分割的标准之一 --Dice 损失函数的梯度，并表明它具有非常小的动态范围，进而通过简单的元素乘法模拟它的监督方法，这一结论有助于理解和解释结果同时指导新损失函数的设计。

    Apr, 2023

  • 广义 Dice 重叠作为高度不平衡分割的深度学习损失函数

    本论文针对 2D 和 3D 分割任务中出现的标签不平衡问题，探究了几种损失函数（如加权交叉熵函数、敏感度函数、Dice 损失函数）的表现及其对学习率的敏感性，并提出使用广义 Dice 重叠作为一个强韧而准确的损失函数，来实现在不平衡任务中的类别重新平衡。

    Jul, 2017

  • 医学图像分割的优化：在评估 Dice 分数或 Jaccard 指数时的理论和实践

    本文探讨了利用度量敏感损失函数训练卷积神经网络在分割任务中优于基于交叉熵损失函数的效果，特别是在关注分割性能度量指标如 Dice 分数和 Jaccard 指数时，採用度量敏感损失函数效果更好的结论。

    Oct, 2020

  • NLP 训练中的辛普森偏差

    研究机器学习中，针对不同数据集测量方法与训练模型的不一致性，引起 Simpson's bias 现象。

    Mar, 2021

  • 在语义分割中实现平衡：召回损失

    本研究提出了一种基于瞬时召回表现动态加权的损失函数：hard-class mining loss，以解决计算机视觉应用程序（如语义分割）中的类别不平衡问题。研究结果表明，recall loss 可以在不影响准确度的情况下提高平均准确度，并具有与标准交叉熵损失相竞争的平均 Intersection over Union（IoU）性能。

    Jun, 2021

  • 使用余弦损失函数对小数据集进行无预训练深度学习

    本文研究了使用余弦相似度损失函数进行小数据集分类的问题，发现与分类交叉熵损失函数相比，余弦损失函数在只有极少标本的数据集上具有更高的准确性，在使用类别树的先前知识时可以进一步提高分类性能。

    Jan, 2019

  • 深度度量学习的实例交叉熵

    提出了一种称为 Instance Cross Entropy（ICE）的新的深度度量学习方法，通过 mini-batch 迭代学习并扩展到无限训练数据，同时利用样本权重调整来控制训练中样例的差异度，实验证明其具有简单性，直观性，易于解释性和超越传统方法的性能.

    Nov, 2019

  • 关于内在不确定性背景下软 Dice 优化分割图的体积偏差的理论分析和实验证实

    通过理论分析和实验验证，本文比较了在 CNN 训练中使用交叉熵和 soft Dice 两种损失函数对于具有固有不确定性任务的性能影响，发现 soft Dice 优化可能会引入体积偏差，从而限制了该方法在临床上的应用。

    Nov, 2022

  • 使用整体卷积网络的不平衡多类分割的广义 Wasserstein Dice 分数

    本文提出了基于 Wasserstein 距离的类别 Dice 成绩及多尺度的全面卷积神经网络，用于实现更语义化的多类别脑肿瘤分割。

    Jul, 2017

  • 一种简单的对比学习目标，以缓解神经文本退化

    我们提出了对比记号学习目标，它继承了交叉熵和不可能性训练的优点，同时避免了它们的局限性，通过在语言建模和开放域对话生成任务中的全面实验，我们发现所提出的对比记号目标可以使生成的文本重复性减少，提高了生成质量，达到了文本退化的最新性能水平。

    May, 2022