灵活异方差计数回归与深度双泊松网络

Jun, 2024

灵活异方差计数回归与深度双泊松网络

Flexible Heteroscedastic Count Regression with Deep Double Poisson Networks

Spencer Young, Porter Jenkins, Lonchao Da, Jeff Dotson, Hua Wei

TL;DR神经网络可以准确地产生需要的、与输入相关的不确定性表示，这对现实世界的应用至关重要。最近在异方差连续回归方面取得的进展显示了在复杂任务（如图像回归）上进行校准的不确定性量化的巨大潜力。然而，当将这些方法应用于离散回归任务（如人群计数、评级预测或库存估计）时，它们往往会产生具有许多病态的预测分布。我们提出通过训练神经网络输出双泊松分布的参数来解决这些问题，我们将其称为深度双泊松网络（DDPN）。与现有方法不同，它们是经过训练以最小化高斯负对数似然（NLL）的，DDPNs 会生成离散输出上的正确概率质量函数。此外，DDPNs 自然地对低、高和等离散度建模，而不像使用更严格的泊松和负二项参数化进行训练的网络。我们展示了 DDPNs：1）远远优于现有的离散模型；2）实现或超过使用高斯 NLL 进行训练的网络的准确性和灵活性；3）产生适当的离散计数的预测分布；4）具有优秀的超出分布检测能力。DDPNs 可以轻松应用于各种计数回归数据集，包括表格、图像、点云和文本数据。

Abstract

neural networks that can produce accurate, input-conditional uncertainty representations are critical for real-world applications. Recent progress on heteroscedastic continuous regression has shown great promise for calibrated →

neural networks uncertainty quantification double poisson distribution discrete regression out-of-distribution detection

发现论文，激发创造

面向计数数据的专业深度神经网络与高基数分类特征

提出一种新的层级似然学习框架，将伽马随机效应引入 Poisson 深度神经网络，以捕捉输入变量的非线性效应和主题特定的聚类效应，从而提高预测性能。该方法通过优化单一目标函数同时获得固定参数的最大似然估计值和随机效应的最佳无偏预测器，为处理包含高基数分类特征的聚类计数数据提供了一个快速端到端算法。并且，可以很容易地将最新的网络架构实施到提出的 h - 似然框架中，例如多头注意力层和稀疏最大函数，用于在高维环境中进行特征选择。为了提高实际性能和学习效率，还通过调整过程来预测随机参数，并使用矩量法估计方差分量进行预训练。各种实验研究和真实数据分析证实了我们提出方法的优势。

Oct, 2023

离散分布网络

通过使用层次离散分布生成多个离散样本点，逐渐拟合目标分布，这种离散分布的层次输出模式赋予了 DDN 两个有趣的特性：高度压缩表示和更一般的零样本条件生成。我们通过在 CIFAR-10 和 FFHQ 上进行实验验证了 DDN 及其有趣特性的有效性。

Dec, 2023

具有贝叶斯深度神经网络的分类快速预测不确定性

本文提出了使用 Dirichlet 近似来构建分类神经网络输出的分布，该近似比先构建权重的 Gaussian 分布再进行采样来得更省时，同时有利于计算不确定性和大规模数据集的应用，例如 ImageNet。

Mar, 2020

负二项随机伽玛马尔科夫过程用于异质超离散计数时间序列

提出了一种负二项式随机化的伽马马尔科夫过程来建模计数数列的转换结构和爆发性动态，从而改善了动力学系统的预测性能和推理算法的快速收敛，同时估计了基于因子结构和图结构的转换动态以获得更可解释的潜在结构，比相关模型更好地填补了缺失数据和预测未来观测。

Feb, 2024

最大化域内外分布样本表示差距的探索

本文提出一种用于改进 Dirichlet 先验网络模型的损失函数，以增大模型在域内数据和域外数据之间的 “表示差距”，从而提高模型的域外检测性能。实验结果表明，我们的方法可以显著提高域外检测的性能。

Oct, 2020

深层 Huber 分位回归网络

DHQRN 是一种采用 Huber 分位数回归网络的 Deep Learning 算法，能够更全面地预测预测概率分布的数量级和不确定性，论文通过澳大利亚房价数据进行了验证。

Jun, 2023

利用证据理论的深度学习进行分类不确定性量化

通过在类概率上使用狄利克雷分布对主观逻辑进行建模并使用确定性神经网络从数据学习收集导致预测的证据的功能，我们提出一种与贝叶斯神经网络正交的方法，该方法可以直接推断出预测的不确定性。我们的方法在检测超出分布的查询和对抗性扰动方面取得了空前的成功。

Jun, 2018

低光照图像的深度卷积降噪

本文介绍了使用卷积神经网络和 Poisson 分布进行图像去噪的方法，通过特定峰值的图片训练网络可以显著提高图像去噪效果，并且此方法灵活、数据驱动，速度更快。同时，结合图像先验信息，处理同类别图片可以进一步提高性能表现。

Jan, 2017

应用于多物种丰度估计的深度障碍网络零膨胀多目标回归

本文提出了一种深度模型来解决计算可持续性中的物种分布问题，其中有大量的零填充数据，并且需要同时对数百个物种进行建模，该模型被称为 “零膨胀多目标回归问题”。通过将整个模型作为端到端的学习框架，我们提供了一种有效的学习算法，并在两个实际物种分布的数据集上展示了该模型比现有的最先进基线模型表现更好，其核心是将多响应变量的联合分布建模为多元 Probit 模型。

Oct, 2020

Poisson Gamma 信念网络

利用 Poisson gamma 信仰网络 (PGBN) 因子化每一层，通过上下 Gibbs 采样器进行联合训练，实现对高维计数向量的多层表示

Nov, 2015