多假设丢弃：多模态输出分布参数估计

AAAIDec, 2023

多假设丢弃：多模态输出分布参数估计

Multiple Hypothesis Dropout: Estimating the Parameters of Multi-Modal Output Distributions

David D. Nguyen, David Liebowitz, Surya Nepal, Salil S. Kanhere

TL;DR通过使用多假设 dropout 和一种新颖的随机分胜负损失函数，本文提出了一个混合多输出函数 (MoM) 方法，该方法不仅估计均值而且估计假设的方差，并在监督学习和无监督学习问题上实验验证了其性能优越性。

Abstract

In many real-world applications, from robotics to pedestrian trajectory prediction, there is a need to predict multiple real-valued outputs to represent several potential scenarios. Current deep learning techniques to address multiple-output problems are based on two main methodologies

multiple-output prediction deep learning mixture density networks multiple choice learning dropout

发现论文，激发创造

基于 Dropout 的 Rashomon 集探索技术用于高效的预测乘性估计

通过利用 dropout 技术来探索 Rashomon 集合中的模型，提出了一个用于衡量和减轻预测多样性的新框架，通过严格的理论推导和实验证明该技术在预测多样性度量估计方面始终优于基准方法，并通过 dropout 集成和模型选择实现了高效的 Rashomon 集合探索和度量估计。

Feb, 2024

单次 MC Dropout 近似

该研究旨在通过一种单次 MC 退火的方法来提高贝叶斯变体深度神经网络的测试时间，同时保持不确定性测量的优点。经过基准测试和模拟游戏等方面的验证，该方法能够在实时部署 BDNNs 时实现预测分布的点估计和不确定性估计。

Jul, 2020

克服混合密度网络的限制：一种适用于多模态未来预测的采样和拟合框架

本文介绍了一种在预测未来时考虑多模态不确定性的方法，该方法使用了赢者通吃损失和迭代分组策略，能够有效避免模式崩溃问题。同时本文讨论了多模态分布的评估方法，包括只有一个样本时的实际应用情景。

Jun, 2019

DiverseNet：当一个正确答案不够时

本文介绍了一种简单的方法来训练神经网络，使得每个测试查询时间内能够进行多元化的结构性预测，同时比现有方法具有更好的多样性和速度。在 2D 图像填充，3D 体积估计和流场预测等三个具有挑战性的任务中，我们的方法得到了量化的改进。

Aug, 2020

在条件随机网络下进行多模式运动预测

本文提出一种基于随机神经网络架构来处理多样性数据分布的方法，并通过实验验证应用于处理物体轨迹、人体关节轨迹和视频预测等问题中，取得了较好的实验效果。

May, 2017

用于训练多样深度集成的随机多选学习

该论文提出一种基于深度网络集成模型的新型随机梯度下降方法，通过使用多种高可能性的假设，实现产生多个预测结果的任务，其能够显著增强预测能力和降低错误率，并产生可解释的任务模糊度表示。

Jun, 2016

浅层和深度学习的改进 Dropout

本研究提出使用多项式抽样的退役方法，并分析了使用多项式退役的浅层学习。通过最小化风险界中的采样相关因子，我们获得了基于分布的退役，用于处理深度学习中的神经元演化问题，进一步提出了一种名为 “进化退役” 的自适应退役，以从小批量示例即时计算采样概率。实证研究表明，与标准的退役相比，所提出的退役不仅实现了更快的收敛速度，而且在预测性能和收敛速度上都有超过 10％和 50％的相对改进。

Feb, 2016

异质多输出高斯过程预测

本文提出了一种新的多输出高斯过程扩展方法，用于处理异构输出，此方法使用向量值高斯过程先验来联合建模所有似然函数中的参数作为潜在函数，并以线性模型为核心的协同关系形式使用协方差函数；在假设潜在函数之间存在条件独立性并利用引导变量框架的前提下，我们能够获得易于处理的变分下界，适用于随机变分推理。最后我们在合成数据以及两个真实数据集上：人类行为研究数据集以及人口统计高维数据集中展示了该模型的性能。

May, 2018

神经网络的单次贝叶斯逼近

我们提出了一种快速的基于矩阵传播的近似方法，将神经网络转换成贝叶斯神经网络，实现对预测分布的点估计和不确定性估计，并通过与深度集成技术相结合进一步提高不确定性测量的性能。

Aug, 2023

多输出学习调查

介绍和回顾多输出学习中的挑战、方法和评估指标，探究针对不同输出结构和任务的现有最优解。

Jan, 2019