离散分布网络
本文的研究旨在深度神经网络的生成式学习问题上提出一种中间方法,通过前向计算得出一个简化版的贝叶斯概率多层模型,并且运用转置的方法使得识别和生成网络更加符合数据的联合概率模型。通过实验发现,这种联合对组的生成对模型足够强大,可以很好地进行识别和生成任务。
Sep, 2017
神经网络可以准确地产生需要的、与输入相关的不确定性表示,这对现实世界的应用至关重要。最近在异方差连续回归方面取得的进展显示了在复杂任务(如图像回归)上进行校准的不确定性量化的巨大潜力。然而,当将这些方法应用于离散回归任务(如人群计数、评级预测或库存估计)时,它们往往会产生具有许多病态的预测分布。我们提出通过训练神经网络输出双泊松分布的参数来解决这些问题,我们将其称为深度双泊松网络(DDPN)。与现有方法不同,它们是经过训练以最小化高斯负对数似然(NLL)的,DDPNs 会生成离散输出上的正确概率质量函数。此外,DDPNs 自然地对低、高和等离散度建模,而不像使用更严格的泊松和负二项参数化进行训练的网络。我们展示了 DDPNs:1)远远优于现有的离散模型;2)实现或超过使用高斯 NLL 进行训练的网络的准确性和灵活性;3)产生适当的离散计数的预测分布;4)具有优秀的超出分布检测能力。DDPNs 可以轻松应用于各种计数回归数据集,包括表格、图像、点云和文本数据。
Jun, 2024
本文提出了一种有效的方法,通过 Distilled Dropout Network(DDN)来使神经网络输出更好的校准不确定性得分,从而防止过度自信,具有与蒙特卡罗方法相当的校准结果和更高的分类准确性,同时在目标检测框架中实现更好的校准,并通过 COCO 数据集验证其有效性。
Sep, 2018
提出了一种基于深度神经网络的医学图像分割方法,通过引入 ' 拐杖 ' 网络连接以获得精细的密集预测,并采用自适应深度监督训练策略以提取鲁棒特征。通过在网络解码器的每个上采样阶段引入 ' 拐杖 ' 连接,增强了目标定位和分割性能,并通过匹配网络的有效感受野来指导辅助监督位置的选择,从而实现了对特定输入特征的注意。在 4 个不同模态的多样数据集上验证了该方法的有效性。
Feb, 2024
该论文介绍了贝叶斯流网络(BFNs),这是一种新的生成模型,通过贝叶斯推理修改一组独立分布的参数,然后将其作为输入传递给神经网络,输出第二个相互依赖的分布。BFNs 在连续数据、离散化数据和离散数据等方面有效,并在图像建模和字符级语言建模任务中实现了有竞争力的对数似然值。
Aug, 2023
提出了一种名为 D4Explainer 的新方法,利用生成图分布学习优化目标,为图神经网络提供两种类型的可靠解释:反事实解释和模型级解释。经过在合成和真实数据集上的实证评估,D4Explainer 在解释准确性、忠实度、多样性和稳健性方面取得了最先进的性能。
Oct, 2023
提出了一种新的基于马尔科夫链的生成随机网络(GSN)框架作为概率模型的训练原则,并通过具有反向传播的梯度来学习该链的转移算子,该理论提供了关于依赖网络和广义伪似然的有趣解释,试验结果验证了该理论在两个图像数据集中的有效性,并且在训练时不需要层次预训练。
Mar, 2015