ICLRJan, 2023

使用序数熵改进深度回归

PDF
TL;DR本研究研究计算机视觉中回归问题的分类方法，发现使用交叉熵损失的分类方法比均方误差损失的回归方法具有更好的性能，同时提出了一种序数熵损失方法以鼓励高熵的特征空间并维护序数关系来提高回归任务的性能。实验结果表明增加熵对于回归任务的重要性和好处。
发现论文，激发创造
  • 一种用于序数分类的简单平方误差重构方法

    本文探讨了基于深度神经网络的序数分类问题，通过对均方误差损失函数的简单修改，使其可以敏感地处理类别排序，同时还能获得各个类别的离散概率分布。我们基于 softmax 隐藏层提出了一种新的算法，经实验在 Kaggle 糖尿病性视网膜病变数据集上表现优于所有基线模型。

    Dec, 2016

  • 神经网络的等级一致序列回归及其在年龄估计中的应用

    利用深度学习中基于序列回归的神经网络模型进行年龄预测的研究中，提出了一种新的一致性排序逻辑（CORAL）框架，用于提高预测准确率。

    Jan, 2019

  • 深度序分类的单模概率分布

    本文提出了通过使用泊松分布和二项分布来约束离散序数概率分布为单峰态的简单技术，从而避免交叉熵损失产生的概率分布具有不良性质，并在深度学习的两个大型序数图像数据集上进行了评估，取得了良好的效果。

    May, 2017

  • 学习概率顺序嵌入以实现具有不确定性的回归

    本文提出了学习概率顺序嵌入来表示每个数据的方法，这些嵌入由多变量高斯分布表示，以更好的建模回归中的不确定性，并且可以与流行的回归方法集成，通过实验结果证明其具有竞争性的表现和确定性评估的能力。

    Mar, 2021

  • 探究回归中的直方图损失

    使用直方图损失函数对回归问题进行建模，通过学习目标变量的条件分布来提高性能，并确定性能提升的原因和组成部分对其的贡献。结果表明，这种学习方法的优势来自于优化的改进，而不是学习更好的表示形式。同时展示了在深度学习应用中使用直方图损失函数的可行性，无需进行耗费昂贵的超参数调整。

    Feb, 2024

  • 神经网络分类任务中使用平方误差与交叉熵训练的结构评估

    本文提供证据表明，对于 NLP 和 ASR 任务，使用方块损失函数进行神经网络训练，可以获得比交叉熵更好的效果，并且可以提高计算资源的利用率。我们认为，使用方块损失函数需要成为现代深度学习最佳实践的一部分，与交叉熵在平等基础上竞争。

    Jun, 2020

  • 序数回归的神经网络方法

    本文介绍了一种简单而有效的方法，即将传统神经网络适应于学习序数类别，其性质既具有分类又具有回归的特性。我们的方法是序数回归的感知机方法的一般化，它在多个基准数据集上优于神经网络分类方法。此外，NNRank 在信息检索、网页排名、协作过滤和生物信息学中的蛋白质排名等大规模数据处理任务中具有传统神经网络学习方式的优点。

    Apr, 2007

  • 回归即分类：任务形式对神经网络特征的影响

    研究神经网络对回归问题的解决方法，针对两层 ReLU 网络探索了梯度优化引起偏差的一些现象，提出了一种新的支持度计算方法，得出实验证据，阐述了广义梯度下降和平方损失函数在训练中的优化困难。

    Nov, 2022

  • 停止回归：通过分类训练值函数用于可扩展深度强化学习

    将分类交叉熵用于训练价值函数可显著提高深度强化学习的扩展性。

    Mar, 2024

  • Ord2Seq：将顺序回归视为标签序列预测

    本文提出了一个简单的序列预测框架 Ord2Seq，将有序回归任务转化为序列预测过程，以便细致地区分相邻类别，实验证明细致区分相邻类别能够显著提高性能，并且新方法在四个不同场景中超越了现有最先进方法的表现。

    Jul, 2023