不平衡数据学习的倾斜概率神经网络

Dec, 2023

不平衡数据学习的倾斜概率神经网络

Skew Probabilistic Neural Networks for Learning from Imbalanced Data

Shraddha M. Naik, Tanujit Chakraborty, Abdenour Hadid, Bibhas Chakraborty

TL;DR利用偏态概率神经网络（SkewPNNs）和超参数微调来解决实际数据集中的类别不平衡问题，并证明其在平衡和不平衡数据集上优于现有的机器学习方法。

Abstract

Real-world datasets often exhibit imbalanced data distribution, where certain class levels are severely underrepresented. In such cases, traditional pattern classifiers have shown a bias towards the majority class, impeding accurate predictions for the minority class. This paper introd

imbalanced data distribution probabilistic neural networks skew normal probability kernel hyperparameter fine-tuning state-of-the-art machine learning methods

发现论文，激发创造

建模科学机器学习中的随机不确定性的概率神经网络 (PNNs)

本研究调查了使用概率神经网络（PNN）来建模巧合不确定性的方法，PNN 生成目标变量的概率分布，能够在回归场景中确定预测均值和区间，实验证实了 PNN 在建模巧合不确定性方面的有效性，特别是在真实科学机器学习环境中，PNN 产生接近 0.97 的高精度输出均值估计和 0.80 的预测区间的高相关系数，为利用神经网络的复杂表示能力来揭示科学问题中的复杂输入输出关系的持续探索做出了贡献。

Feb, 2024

正类数据偏斜置信度的二元分类

该论文介绍了一种基于正例数据并配备置信度的弱监督学习方法，提出了一种带有参数的方法来消除偏斜置信度的负面影响，并提出了一种基于误分类率的方法选择超参数。实验结果表明该方法在线性模型和神经网络模型中均表现良好，并可行于驾驶员昏昏欲睡预测的实际问题。

Jan, 2020

小数据学习的概率嵌入深度核方法

通过使用概率神经网络学习概率嵌入深核，我们可以解决高维数据的表示学习和数据效率之间的问题，实验结果表明，我们的方法在监督和半监督学习中均优于现有的高斯过程核方法，并且扩展到其他小数据范例，在 mini-Imagenet 和 CUB 数据集上胜过先前的方法。

Oct, 2019

多项式神经网络的谱偏差

本文探讨了多项式神经网络在图像生成和人脸识别方面的有效性，还研究了神经网络具有低频函数方面的谱偏向性，发现多项式神经网络可以通过引入乘法交互项加速学习，提供了设计架构和学习框架的新洞察。

Feb, 2022

ProbPNN: 基于统计信息增强深度概率预测

本文介绍了一种使用统计方法和神经网络相结合的深度学习方法来改进具有日历驱动周期性的时间序列数据的概率预测准确性的方法，并在两个数据集上进行了统计检验，结果表明该方法比其他深度学习预测方法具有更好的预测性能和较小的计算成本。

Feb, 2023

不定概率神经网络

本文提出了一种新的概率神经网络模型 IPNN，该模型能够将神经网络和概率理论结合起来，并且在分类任务中具有无监督聚类的能力。该模型可以使用很小的神经网络对数十亿个类别进行分类。

Mar, 2023

调整决策边界用于类别不平衡学习

本论文中，我们提出了一种新方法来解决神经网络训练中出现的类不平衡问题，这种方法旨在画出更好的决策边界并缩放权重向量，从而实现优秀的性能结果。

Dec, 2019

自然参数网络：一类概率神经网络

提出了一种新颖且轻量化的神经网络模型 —— 自然参数网络 (NPN)，它允许使用任意指数族分布来建模神经元和权重，并且通过层之间的变换来生成与目标输出分布匹配的后验分布，实验结果表明，NPN 可以在现实世界的数据集上实现最先进的性能。

Nov, 2016

通过节点归因解释图神经网络中的不公正性

本文提出了一种新的策略 PDD，它可以衡量 GNN 中表现出的偏见，并开发了一种算法来有效地估计每个训练节点对此偏见的影响力。在真实世界的数据集上进行实验验证了 PDD 的有效性和影响力估计的有效性，并演示了如何使用该框架进行 GNN 去偏见化。

Nov, 2022

面向计数数据的专业深度神经网络与高基数分类特征

提出一种新的层级似然学习框架，将伽马随机效应引入 Poisson 深度神经网络，以捕捉输入变量的非线性效应和主题特定的聚类效应，从而提高预测性能。该方法通过优化单一目标函数同时获得固定参数的最大似然估计值和随机效应的最佳无偏预测器，为处理包含高基数分类特征的聚类计数数据提供了一个快速端到端算法。并且，可以很容易地将最新的网络架构实施到提出的 h - 似然框架中，例如多头注意力层和稀疏最大函数，用于在高维环境中进行特征选择。为了提高实际性能和学习效率，还通过调整过程来预测随机参数，并使用矩量法估计方差分量进行预训练。各种实验研究和真实数据分析证实了我们提出方法的优势。

Oct, 2023