AAAIJan, 2024

不确定性规范化的证据回归

PDF
TL;DR本文介绍了一种结合深度学习和 Dempster-Shafer 理论的新方法，即证据回归网络 (ERN)，用于预测目标并量化相关不确定性。通过理论分析，我们发现一种限制模型性能的约束，并引入一种改进方法以克服此限制。我们探索了 ERN 并提出了一种新的正则化项，使 ERN 能够从整个训练集中学习。大量实验证实了我们的理论发现，并证明了所提出解决方案的有效性。
evidential regression networkdeep learningdempster-shafer's theoryactivation functionsregularization term
发现论文，激发创造
  • 深度证据回归

    本文提出了一种新方法，通过在原始高斯似然函数上放置证据先验，训练神经网络 (NNs) 以估计连续目标及其相关证据，以学习 aleatoric 和 epistemic 不确定性。在多个基准测试中，本方法展示了学习良好校准的不确定度测量，可扩展到复杂的计算机视觉任务，并对对抗性和 OOD 测试样本具有鲁棒性。

    Oct, 2019

  • 学习累积所有训练样本的证据：理论与实践

    该研究通过提出一种新颖的规则化方法，解决了 evidential models 训练和推理中产生的根本性困难，从而提高了预测性能。

    Jun, 2023

  • E-NER: 基于证据的深度学习在可信命名实体识别中的应用

    介绍了 Evidential deep learning 在 named entity recognition (NER) 中实现 predictive uncertainty 的困难之处，并提出了一种可信 named entity recognition (E-NER) 框架，引入了两个基于不确定性的错误函数以及一系列基于不确定性的训练策略。实验证明 E-NER 能够应用于多种 NER 模式，并获得准确的不确定性估计。与最先进的基线相比，所提出的方法在 OOV/OOD 检测性能和 OOV 实体的泛化能力方面均有所提高。

    May, 2023

  • 利用证据理论的深度学习进行分类不确定性量化

    通过在类概率上使用狄利克雷分布对主观逻辑进行建模并使用确定性神经网络从数据学习收集导致预测的证据的功能，我们提出一种与贝叶斯神经网络正交的方法，该方法可以直接推断出预测的不确定性。我们的方法在检测超出分布的查询和对抗性扰动方面取得了空前的成功。

    Jun, 2018

  • 深层证据学习用于贝叶斯分位数回归

    该论文提出了一种基于证据学习的深度贝叶斯分位回归模型，能够在没有高斯分布假设的情况下估计连续目标分布的分位数，同时捕捉不确定性和提高模型的可计算性和可扩展性。

    Aug, 2023

  • 多维不确定性感知证据神经网络

    本文提出了一种新型的基于 WGAN 的 evidential neural network (WENN)，通过在模型训练中进行多维不确定性建模，增强了 OOD 检测的性能，从而在绝大多数数据集上优于对手模型。

    Dec, 2020

  • 苏格拉底的怀疑回声：在校准的证据强化学习中拥抱不确定性

    我们提出了一种新颖的统计方法，用于在无模型分布式强化学习中纳入不确定性感知，它涉及基于分位回归的深度 Q 网络。该算法称为 CEQR-DQN（Calibrated Evidential Quantile Regression in Deep Q Networks），旨在解决在随机环境中分别估计偶然性和认识性不确定性所面临的关键挑战。它将深度证据学习与基于符合推理原则的分位校准相结合，提供明确的、无需样本的全局不确定性计算，而不是基于简单差异的局部估计，从而克服了传统方法在计算和统计效率以及处理超出分布范围观察的局限性。用于一套小型 Atari 游戏（即 MinAtar）的测试中，CEQR-DQN 在得分和学习速度方面超越了类似的现有框架。它对严格评估不确定性的能力改进了探索策略，并可作为其他需要不确定性感知的算法的蓝图。

    Feb, 2024

  • 证据深度学习：提高地球系统科学应用的预测不确定性估计

    可靠和实用的地球系统科学建模领域中，证据深度学习是一种有前途的方法，它能够准确量化预测不确定性，包括预测方差和模型不确定性，还可以通过敏感性分析来解释模型的预测结果。

    Sep, 2023

  • 证据深度学习中的不确定性知识

    本文揭示了 Evidential Deep Learning（EDL）中由不确定性值产生的证据信号的存在，并通过理论和实证研究证明了 EDL 的不确定性与误分类偏差之间的关联，从而揭示出 EDL 对 loss functions 的耦合情况。

    Oct, 2023

  • 证据不确定性量化：一个基于方差的视角

    基于方差的方法扩展到分类问题中，量化分类的不确定性，实验结果显示这种方法在主动领域适应中与基于熵的方法的准确性相似，并提供了关于类别间不确定性和相关性的信息。

    Nov, 2023