不平衡深度回归问题的不确定性投票专家混合模型

May, 2023

不平衡深度回归问题的不确定性投票专家混合模型

Mixture of Experts with Uncertainty Voting for Imbalanced Deep Regression Problems

Yuchang Jiang, Vivien Sainte Fare Garnot, Konrad Schindler, Jan Dirk Wegner

TL;DR该研究提出了一种适用于回归问题的新型混合专家方法，利用个体专家的预测不确定性作为融合的依据，实现对不平衡数据的有效学习。实验结果表明，该方法优于现有备选方案，同时产生更好的不确定性估计。

Abstract

Data imbalance is ubiquitous when applying machine learning to real-world problems, particularly regression problems. If training data are imbalanced, the learning is dominated by the densely covered regions of t

imbalanced data regression machine learning mixture-of-experts uncertainty

发现论文，激发创造

不确定性中寻求合适的平衡

利用贝叶斯不确定性估计解决类别不平衡学习的问题，并且成功改进了面部验证、属性预测、数字 / 物体识别、皮肤病检测等六个基准数据集上的分类性能。

Jan, 2019

神经网络训练与不确定数据的专家混合方法

该研究提出了 “不确定性感知的专家混合”（uMoE）方法，该方法通过将不确定性直接集成到训练过程中来解决基于神经网络的预测模型中的 aleatoric 不确定性问题。结果表明，uMoE 在处理数据不确定性方面显著优于基线方法，并展示了其适应不同不确定性水平并提供最佳阈值参数的能力。该创新方法可在包括生物医学信号处理、自动驾驶和生产质量控制在内的各种数据驱动领域广泛应用。

Dec, 2023

基于专家知识的加权回归模型在含噪标签中的应用

提出一种用多种专家意见生成标签的新方法，通过学习加权组合来建立预测模型，该方法在模拟和实际数据上表现出优异性能，具有简单，快速和高效的特点，可用于训练多标签回归模型的应用场景。

May, 2023

变分不平衡回归

本文介绍了一种概率深度学习模型，名为 Variational Imbalanced Regression (VIR)。该模型可以在标记分布不平衡的情况下，准确地进行回归，并自然地产生合理的不确定度估计，实验证明我们的 VIR 在准确性和不确定度估计方面均可优于现有的不平衡回归模型。

Jun, 2023

将专家判断融入机器学习模型

本文提出了一个新的框架，通过对无标签数据点的代表性进行评估，利用专家的判断来改进机器学习模型的预测，并在多项实验和评估中获得了成功的结果和评价指标。

Apr, 2023

可解释的数据驱动建模通过专家混合：朝着有效融合灰箱和黑箱模型

我们提出了一种基于 “专家混合” 的综合框架，以解决传统模型和机器学习方法在处理复杂系统时的准确性和解释性之间的平衡问题。通过数据驱动的融合多样化的本地模型，充分利用基于原则的先验知识，我们的解决方案支持专家的独立训练，并结合了机器学习和系统辨识技术，同时支持合作和竞争学习范式。为了增强解释性，我们对专家组合的突变进行了惩罚。实验结果验证了我们的方法的有效性，能够产生与目标现象紧密相似且可解释的模型组合。

Jan, 2024

自适应正则化的异方差和不平衡深度学习

提出了一种针对 heteroskedastic 数据集的数据依赖正则化技术，该方法能同时解决标签不确定性和标签分布不均衡等问题，并在多个基准测试中证实了它的有效性。

Jun, 2020

深层专家混合模型中的因子表示学习

本文扩展了专家集成模型，提出了深度专家集成模型，该模型利用多组门和专家实现了输入空间的多重化，同时保持了小型化规模，在 MNIST 数据集和语音单音素数据集上的实验结果表明，该模型能够自动发现局部化的位置相关专家和类别相关专家，并有效地使用所有专家组合。

Dec, 2013

基于一种狄利克雷分布混合的改进证据深度学习

该论文通过混合狄利克雷分布的变分推断来建模一致的目标分布，并通过学习得到的元分布模型提取目标模型中的学到的不确定性。实验证明我们提出的方法在各种基于不确定性的后续任务中具有优越性，并展示了学到的认知不确定性的一致性和不一致性带来的实际影响。

Feb, 2024

使用多元模型和多视角对分类中的不确定性意识

提出了一种利用不确定性估计的人工智能模型训练方法，结合多视图预测和优化算法，实现了准确的预测和标签不确定性估计。

Apr, 2024