Mar, 2024

密度回归：高效且距离感知的深度回归器用于分布偏移下的不确定性估计

PDF
TL;DR通过在测试时间中进行多次前向传递使用不同模型的现代深度集成技术，在不确定性估计方面取得了强大的性能，但代价是高存储空间和较慢的速度。为了解决这个问题，我们提出了一种名为 Density-Regression 的方法，它利用密度函数在不确定性估计中实现了快速推理，并且只需进行一次前向传递。我们证明它在特征空间上与距离相关，这是神经网络在分布转变下产生高质量不确定性估计的必要条件。经验上，我们对立方体玩具数据集、基准 UCI、时间序列天气预测和实际应用中的深度估计进行实验证明，Density-Regression 在分布转变下具有与现代深度回归器相当的不确定性估计性能，同时使用更小的模型尺寸和更快的推理速度。
deep ensemblesuncertainty estimationdensity-regressionneural networkdistribution shifts
发现论文，激发创造
  • 深层证据学习用于贝叶斯分位数回归

    该论文提出了一种基于证据学习的深度贝叶斯分位回归模型，能够在没有高斯分布假设的情况下估计连续目标分布的分位数，同时捕捉不确定性和提高模型的可计算性和可扩展性。

    Aug, 2023

  • 基于敏感度的密集回归无需训练的不确定性估计

    提出三种方法以分析密集回归训练网络的输出方差，在推理过程中无需重新训练或调整模型，这些方法得出的不确定性估计结果与需要重新训练以及调整的最先进的方法相当甚至更好。

    Sep, 2019

  • 无模型预测及不确定性评估

    利用深度神经网络学习目标函数的深度非参数回归近年来成为研究的焦点，尽管在理解收敛速度方面取得了相当的进展，但缺乏渐近性质阻碍了严格的统计推断。为填补这一空白，我们提出了一种新的框架，将深度估计范式转化为一种有利于条件均值估计的平台，利用条件扩散模型。在理论上，我们为条件扩散模型开发了端到端的收敛速度，并建立了生成样本的渐近正态性。因此，我们可以构建置信区间，便于进行鲁棒的统计推断。此外，通过数值实验，我们在实践中检验了我们提出的方法的有效性。

    May, 2024

  • 一种带有不确定性的新分布排序损失函数：相对深度估计中的应用

    该论文提出了一种新的相对深度估计方法，通过对深度分布进行概率分布的估计来提高估计的准确性，并提出了 Distributional Loss 来训练模型，可以输出标准差的置信度估计，该方法在度量深度估计上有较好的表现。

    Oct, 2020

  • 将高维回归转换为高维条件密度估计

    使用非参数条件密度估计器，提出了一个全新的 CDE 方法 FlexCode，并对其在高维数据上的表现进行了理论和实证研究。

    Apr, 2017

  • 使用深度密度模型进行高维概率估计

    本文提出了一种新的密度估计方法 —— 深度密度模型（DDM），能够快速计算测试数据的归一化密度、生成样本并描述数据的联合熵。

    Feb, 2013

  • 基于自监督高斯正则化的深度分类器用于马氏距离不确定性估计

    介绍了一种轻量、快速、高性能的正则化方法用于 Mahalanobis 距离的不确定性预测，并需要对网络的架构进行最小的更改来推导有利于 Mahalanobis 距离计算的高斯潜在表示。通过在标准 OOD 基准测试上进行评估，证明了该方法在最小推理时间内实现了最先进的 OOD 检测结果，并且在预测概率校准方面非常有竞争力。

    May, 2023

  • 不平衡深度回归问题的不确定性投票专家混合模型

    该研究提出了一种适用于回归问题的新型混合专家方法，利用个体专家的预测不确定性作为融合的依据，实现对不平衡数据的有效学习。实验结果表明，该方法优于现有备选方案，同时产生更好的不确定性估计。

    May, 2023

  • 遥感应用中的非线性分布回归

    该论文介绍了一种解决分布回归问题的非线性方法，它考虑了再生核希尔伯特空间中的分布嵌入，并在其中执行标准的最小二乘回归。 该方法可用于不同维数和样本大小的多源数据，并通过随机傅里叶特征介绍了高效版本来处理数百万个数据点和组。

    Dec, 2020

  • DistPred：一种无分布的概率推理方法用于回归和预测

    DistPred 是一种用于回归和预测任务的新方法，通过使用可微分的离散形式的得分规则，可以在单次前向传递中生成大量样本来估计响应变量的潜在分布，并具有比现有方法更简单且更强大的性能和 90 倍的推理速度。

    Jun, 2024