Jul, 2023

不确定性中测试数据敏感性的信息论分析

PDF
TL;DRBayesian inference 中的不确定性推断及其分解方法的研究。首次定义了测试数据和训练数据之间的敏感性，并扩展了 Bayesian meta-learning 的分析。
发现论文，激发创造
  • 贝叶斯神经网络中预测不确定性的敏感性分析

    本研究针对基于贝叶斯神经网络的黑盒概率模型，提出了一种新的敏感性分析方法，旨在增强对预测不确定性的理解和解释能力，并在真实数据集上进行了验证。

    Dec, 2017

  • 引入一种改良的信息论预测不确定性度量

    应用机器学习模型进行决策需要区分模型所知与不知的内容。本文提供新的洞见，揭示当前预测不确定性度量的局限性，并引入了一种理论上可靠的度量方法来克服这些局限。实验证明，我们引入的度量方法在控制的合成任务中表现得更加合理，并且在利用预测不确定性的实际应用中具有优势。

    Nov, 2023

  • 表征代理校准及消除标注员和数据偏差的不确定性来源

    本文提出了一种简单的 Monte Carlo Dropout 算法，可以显式地量化神经网络输出的不确定性，利用此种不确定性可以解释模型复杂现象、如情感识别，此外也可以用于辨别主观标记样本和数据偏差的问题。

    Sep, 2019

  • 敏感度感知的摊还贝叶斯推断

    我们提出了一种综合多角度的方法，将敏感性分析集成到摊销的贝叶斯推理中，并在应用建模问题中展示了其有效性。

    Oct, 2023

  • 连续世界中有限信息下贝叶斯推断的脆弱性

    本文使用降维算法对贝叶斯灵敏度分析中的优化问题进行了探究，结果发现贝叶斯模型在精度固定的有限采样数据的基础上依然可能出现最大可能的预测误差，且学习和稳健性是有冲突的。该研究还探讨了在使用贝叶斯推断的连续世界中是否存在缺失的稳定性条件。

    Apr, 2013

  • 信息熵探测的贝叶斯框架

    该论文提出了一种名为贝叶斯互信息的新框架，它从贝叶斯代理的角度分析信息，使得在有限数据情况下处理可以帮助增加信息的同时也有可能削减信息，更加符合机器学习应用的直觉，最终将该框架运用到探针任务中，通过限制可用背景知识来实现抽取的易于性。

    Sep, 2021

  • 关于贝叶斯分类中的不确定性、调和和数据增强

    本研究表明，显式地考虑 aleatoric uncertainty 可显著改善贝叶斯神经网络的性能，其中使用 Dirichlet observation model 可以匹配或超过 posterior tempering 的性能，无需 tempering。

    Mar, 2022

  • 标签级表观和本体不确定性量化

    基于标签分解的不确定性量化方法，提高成本敏感决策并帮助理解不确定性来源，使用方差等非分类度量定义总体、属概性和认知不确定性，针对分类任务进行实证评估。

    Jun, 2024

  • 通过费舍尔信息和信息论量统一主动学习和主动采样方法

    本文回顾了贝叶斯最优实验设计的基础，并表明被称为期望信息增益或 BALD 的预测和模型参数之间的互信息以及被称为预测信息增益的获取候选和测试样本之间的互信息可以作为信息理论量的近似，提出了一种连接所谓分歧文献的统一框架。

    Aug, 2022

  • 信息论归纳学习的广义界限及其应用

    本文首次在信息理论的背景下，为传导学习算法开发了数据相关性和算法相关性的一般化界限。我们表明传导学习算法的一般化差距可以通过训练标签和假设之间的互信息来限制。通过创新性地提出传导超样本的概念，我们超越归纳学习设置，并建立了各种信息测量的上界。此外，我们派生了新颖的 PAC-Bayesian 界限，并建立了传导学习环境下一般化与损失曲面平坦性之间的联系。最后，我们提出了自适应优化算法的上界，并展示了在半监督学习和图学习场景中的应用结果。我们的理论结果在合成数据集和真实世界数据集上得到验证。

    Nov, 2023