面向计数数据的专业深度神经网络与高基数分类特征

Oct, 2023

面向计数数据的专业深度神经网络与高基数分类特征

Subject-specific Deep Neural Networks for Count Data with High-cardinality Categorical Features

Hangbin Lee, Il Do Ha, Changha Hwang, Youngjo Lee

TL;DR提出一种新的层级似然学习框架，将伽马随机效应引入 Poisson 深度神经网络，以捕捉输入变量的非线性效应和主题特定的聚类效应，从而提高预测性能。该方法通过优化单一目标函数同时获得固定参数的最大似然估计值和随机效应的最佳无偏预测器，为处理包含高基数分类特征的聚类计数数据提供了一个快速端到端算法。并且，可以很容易地将最新的网络架构实施到提出的 h - 似然框架中，例如多头注意力层和稀疏最大函数，用于在高维环境中进行特征选择。为了提高实际性能和学习效率，还通过调整过程来预测随机参数，并使用矩量法估计方差分量进行预训练。各种实验研究和真实数据分析证实了我们提出方法的优势。

Abstract

There is a growing interest in subject-specific predictions using deep neural networks (DNNs) because real-world data often exhibit correlations, which has been typically overlooked in traditional DNN frameworks. In this paper, we propose a novel hierarchical likelihood learning framew

deep neural networks hierarchical likelihood learning gamma random effects prediction performance clustered count data

发现论文，激发创造

灵活异方差计数回归与深度双泊松网络

神经网络可以准确地产生需要的、与输入相关的不确定性表示，这对现实世界的应用至关重要。最近在异方差连续回归方面取得的进展显示了在复杂任务（如图像回归）上进行校准的不确定性量化的巨大潜力。然而，当将这些方法应用于离散回归任务（如人群计数、评级预测或库存估计）时，它们往往会产生具有许多病态的预测分布。我们提出通过训练神经网络输出双泊松分布的参数来解决这些问题，我们将其称为深度双泊松网络（DDPN）。与现有方法不同，它们是经过训练以最小化高斯负对数似然（NLL）的，DDPNs 会生成离散输出上的正确概率质量函数。此外，DDPNs 自然地对低、高和等离散度建模，而不像使用更严格的泊松和负二项参数化进行训练的网络。我们展示了 DDPNs：1）远远优于现有的离散模型；2）实现或超过使用高斯 NLL 进行训练的网络的准确性和灵活性；3）产生适当的离散计数的预测分布；4）具有优秀的超出分布检测能力。DDPNs 可以轻松应用于各种计数回归数据集，包括表格、图像、点云和文本数据。

Jun, 2024

多项式信念网络

基于贝叶斯方法的深度生成模型用于处理不确定性、稀疏数据和健康数据分析，通过数据驱动方式提取具有生物学意义的元签名。

Nov, 2023

半参数脆弱性模型的深度神经网络：H - 似然方法

本文提出了一种基于深度神经网络的伽马脆弱性模型 (DNN-FM)，通过最大化全新的 h-likelihood，提供固定参数的最大似然估计值和随机脆弱性的最佳无偏预测值。本文实验表明，所提出的方法提高了现有方法的预测性能。同时，实际数据分析表明，包含个体特异性脆弱性有助于改善基于 DNN 的 Cox 模型（DNN-Cox）的预测。

Jul, 2023

基于多场分类数据的深度学习：以用户响应预测为例研究

本文提出两种使用深度神经网络来预测用户响应的新模型，通过三种特征转换方法的借助，能够自动学习有效的分类特征交互模式，并对用户的广告点击进行预测。大规模的实验表明，我们的方法比现有主流模型更好。

Jan, 2016

贝叶斯深度网络广义线性模型（GLM）和广义线性混合模型（GLMM）

使用深度前馈神经网络、广义线性模型和贝叶斯推断等方法，提出一种高精度的回归和分类方法，能够在原有方法中量化预测不确定性并进行变量选择，并在多种模拟和真实数据示例中得到了令人满意的结果。

May, 2018

利用证据理论的深度学习进行分类不确定性量化

通过在类概率上使用狄利克雷分布对主观逻辑进行建模并使用确定性神经网络从数据学习收集导致预测的证据的功能，我们提出一种与贝叶斯神经网络正交的方法，该方法可以直接推断出预测的不确定性。我们的方法在检测超出分布的查询和对抗性扰动方面取得了空前的成功。

Jun, 2018

高基数类别变量数据的机器学习方法比较

本研究比较了在具有高基数分类变量的多种表格数据集上，随机效应的机器学习模型与其经典模型之间的预测精度，发现使用随机效应的决策树提升模型优于使用随机效应的深度神经网络模型。

Jul, 2023

使用深度密度模型进行高维概率估计

本文提出了一种新的密度估计方法 —— 深度密度模型（DDM），能够快速计算测试数据的归一化密度、生成样本并描述数据的联合熵。

Feb, 2013

Hi-CI: 高维度深度因果推断

本文提出了一种名为 Hi-CI 的深度神经网络算法，可以使用因果推断 (CI) 从高纬度协变量和高基数处理中进行反事实回归，并通过使用去相关网络和结果预测网络解决混淆偏差问题，最后展示了该算法在合成和真实数据集上的有效性。

Aug, 2020

超证据深度学习量化复合分类不确定性

提出了一种基于主观逻辑的超证据神经网络（HENN）框架，用于处理具有相似视觉特征的不同类别之间辨别困难的多类别分类问题，并引入了一种新的不确定性类型（模糊不确定性）来量化深度神经网络的复合分类不确定性，并在四个图像数据集上证明了此框架优于现有的对应方法。

Apr, 2024