Jun, 2023

变分不平衡回归

PDF
TL;DR本文介绍了一种概率深度学习模型，名为 Variational Imbalanced Regression (VIR)。该模型可以在标记分布不平衡的情况下，准确地进行回归，并自然地产生合理的不确定度估计，实验证明我们的 VIR 在准确性和不确定度估计方面均可优于现有的不平衡回归模型。
imbalanced regressionprobabilistic deep learning modeluncertainty estimationvariational autoencodersnormal-inverse-gamma distributions
发现论文，激发创造
  • 批次逆变权重：深度异方差回归

    本文介绍了一种基于逆方差权重的均方误差适应于神经网络的参数优化方法，同时提出了 Batch Inverse-Variance（BIV）作为一种损失函数用来控制学习率，并展示了 BIV 相比 L2 loss、逆方差加权和过滤式基准方法在两个噪声数据集上显著提高了神经网络的性能。

    Jul, 2021

  • 不平衡深度回归问题的不确定性投票专家混合模型

    该研究提出了一种适用于回归问题的新型混合专家方法，利用个体专家的预测不确定性作为融合的依据，实现对不平衡数据的有效学习。实验结果表明，该方法优于现有备选方案，同时产生更好的不确定性估计。

    May, 2023

  • 层次变分混合模型用于学习动力学概率反演

    这篇论文介绍了一种层级建模范式，结合了概率回归模型和贝叶斯非参数方法，采用了一种逼近非线性函数的局部回归技术，提出了两种有效的变分推理技术来学习这些模型，此方法可适应数据并涵盖无限数量的组件，本文对大型逆动力学数据集进行了验证和测试。

    Nov, 2022

  • VaB-AL: 结合变分贝叶斯的类别不平衡和困难因素用于主动学习

    该研究通过结合生成模型和变分自编码器 (Variational Auto Encoder) 来考虑分类样本的不均衡分布，利用贝叶斯思想中的三个关键因素，显著提高已有方法在有限数据预算下的性能。

    Mar, 2020

  • 基于贝叶斯神经网络的不确定性一致性半监督深度回归和变分模型集成

    本文提出了一种新的半监督回归方法，即不确定性一致变分模型集成（UCVME），通过生成高质量的伪标签和不确定性估计来改善训练，并且引入一种新的变分模型集成方法来减少预测噪声和生成更稳健的伪标签。实验结果表明，我们的方法在不同任务上优于现有的替代方法，并且可以与使用完全标签的监督方法竞争。

    Feb, 2023

  • 基于健壮分歧的变分推断

    本文提出了一种鲁棒性强的伪贝叶斯变分方法，它通过将适用于数据拟合的 Kullback-Leibler 距离替换为 beta - 和 gamma - 距离，从而实现对深度网络等复杂模型的处理，并在实验中表现出比普通变分推断更好的鲁棒性。

    Oct, 2017

  • 变分推断在模型无关元学习中的不确定性

    本文提出了一种新的、严谨的贝叶斯元学习算法，用于学习少样本学习的模型参数先验的概率分布。该算法采用基于梯度的变分推断来推断模型参数的后验分布。我们展示了使用我们提出的元学习算法训练的模型具有良好的校准和准确性，在两个少样本分类基准测试（Omniglot 和 Mini-ImageNet）上取得了最新的校准和分类结果，并在多模式任务分布回归中获得了有竞争力的结果。

    Jul, 2019

  • Adam 中的权重扰动快速可扩展的贝叶斯深度学习

    本文提出了新的自然梯度算法来降低高斯平均场变分推断的实现难度，借助 Adam 优化器在梯度计算期间扰动网络权重，通过使用适应学习率的向量可以快速获得不确定性估计值。实验结果表明，我们的方法可以获得与现有变分推断相当的不确定性估计，并表明我们算法中的权重扰动可以用于强化学习和随机优化中的探索。

    Jun, 2018

  • 自适应正则化的异方差和不平衡深度学习

    提出了一种针对 heteroskedastic 数据集的数据依赖正则化技术，该方法能同时解决标签不确定性和标签分布不均衡等问题，并在多个基准测试中证实了它的有效性。

    Jun, 2020

  • 稀有事件建模的变分分离

    提出了一种基于极值分布和变分去解耦的方法，用于在高度不平衡的分类问题中学习罕见事件和提高临床决策支持系统的性能。该方法在合成研究和实际临床数据集上具有显著的性能优势，包括 COVID-19 毒性预测。

    Sep, 2020