使用分布式损失来提高回归性能

Jun, 2018

Improving Regression Performance with Distributional Losses

Ehsan Imani, Martha White

TL;DR在多个学科领域中发现，将目标转换为软目标可提高性能，本研究考察了分布式回归损失（distributional regression loss）在学习分布时的表现，并发现它在改善预测准确率方面显著提高，我们提供了理论支持，表明此损失由于其更好的梯度表现，易于优化导致了这种改进。

Abstract

There is growing evidence that converting targets to soft targets in supervised learning can provide considerable gains in performance. Much of this work has considered classification, converting hard zero-one va

soft targets supervised learning label noise distributional regression loss generalization

发现论文，激发创造

探究回归中的直方图损失

使用直方图损失函数对回归问题进行建模，通过学习目标变量的条件分布来提高性能，并确定性能提升的原因和组成部分对其的贡献。结果表明，这种学习方法的优势来自于优化的改进，而不是学习更好的表示形式。同时展示了在深度学习应用中使用直方图损失函数的可行性，无需进行耗费昂贵的超参数调整。

Feb, 2024

分布回归学习理论

本文研究了分布回归问题，提出了一种基于再生核希尔伯特空间的简单分析计算的岭回归方法，证明了该方法在两阶段抽样设置下是一致的，并且该估算器能够达到一阶段最小化最优速率。

Nov, 2014

基于偏差方差平衡的知识蒸馏软标签优化思考

本文研究了软标签蒸馏对偏差 - 方差平衡的影响，发现软标签的训练在样本层面上影响偏差 - 方差的平衡，并提出了加权软标签方法以适应样本层面的偏差 - 方差平衡，实验证明该方法有效。

Feb, 2021

质量传输正则化

本文提出了使用分布式鲁邦优化的思想来作为正则化技术以及对现有技术提供新的概率解释。通过选择半径，可以保证最坏情况下的预期损失提供了对测试数据的上限置信度，从而提供新的泛化界限。

Oct, 2017

异质相似度下的监督对比学习用于分布偏移

本文提出了一种利用监督对比学习的新型正则化方法，通过将余弦相似度扩展到更一般的相似度度量，建议在比较样本与正 / 负例子时使用不同的参数，并在此基础上提出了一种具有优势的方法，用于处理数据分布变化的问题，这种方法尤其适合使用高度代表性的模型，如神经网络。

Apr, 2023

分布的两阶段样本学习理论

该研究提出了一种简单有效的方法，将概率分布嵌入再应用岭回归算法来解决分布回归问题，同时证明该方法的稳定性和收敛速度，回答了 15 年来未解决的开放性问题，并涵盖了一系列相关的概率分布问题。

Feb, 2014

通过分布式稳健优化实现统一性能学习模型

本研究提出了一种分布鲁棒的随机优化框架，利用凸形式化来解决学习模型受到数据生成分布扰动的问题，并通过多项收敛性保准来证明模型的可靠性，同时也得出了极限定理及有关泛化到未知人群、精细化认知等真实任务的证据。

Oct, 2018

理解分类如何有助于回归的方法

在计算机视觉的深度回归方法中，添加一个分类损失到回归损失中可以得到改进的结果，尤其对于存在不平衡数据的回归任务尤为明显，因此我们建议在不平衡数据的回归任务中添加一个分类损失。

Aug, 2023

遥感应用中的非线性分布回归

该论文介绍了一种解决分布回归问题的非线性方法，它考虑了再生核希尔伯特空间中的分布嵌入，并在其中执行标准的最小二乘回归。该方法可用于不同维数和样本大小的多源数据，并通过随机傅里叶特征介绍了高效版本来处理数百万个数据点和组。

Dec, 2020

分布回归的贝叶斯方法

本研究提出了一种基于贝叶斯分布回归模型的神经网络方法，旨在解决现有监督学习方法中对于群体标签的估计存在不确定性的问题，实现了群体大小变化时模型的可靠性和性能的提高，并在玩具数据集和图像预测年龄的挑战性问题上进行验证。

May, 2017