鲁棒贝叶斯建模通用方法
本研究提出了一种方法,通过将每个观察的可能性变为一种权重,从数据中推断连续变量和权重,以检测和减轻大量概率模型的不匹配性,并明确不同类型的不匹配性对模型的影响与表现,这有助于提高模型的鲁棒性和预测准确性。
Jun, 2016
该研究介绍了一种基于变换的确定性鲁棒初始估计方法及其对应的迭代加权最小二乘算法,用于解决存在异常值时基于最大似然估计的广义线性模型中初始估计不准确的问题。
Sep, 2017
在存在异常值和误设测量模型的状态空间模型的在线滤波中,我们导出了一种新颖、可靠证明的闭合贝叶斯更新规则。我们的方法将广义贝叶斯推理与滤波方法(如扩展和集成卡尔曼滤波器)相结合,其中前者用于展示鲁棒性,后者用于确保非线性模型的计算效率。在异常值测量的一系列滤波问题(如物体跟踪、高维混沌系统的状态估计和在线神经网络学习)中,我们在更低的计算成本下与其他鲁棒滤波方法(如基于变分贝叶斯的方法)相匹配或表现更好。
May, 2024
介绍了一种基于机器学习的方法,通过非线性条件异方差回归和改进的重要性采样方法估计后验概率密度,相较于现有方法在统计遗传学和排队模型等领域计算负担减轻了不少。
Sep, 2008
该研究探讨了广义贝叶斯推断在错配模型下的应用,包括广义线性模型,通过 MCMC 抽样来实现广义贝叶斯 Lasso 和 Logistic 回归,并在模拟和真实数据中展示了广义贝叶斯在表现上超过标准贝叶斯的优点。
Oct, 2019
本文探讨了对于 Bayesian 推断模型的输入扰动的鲁棒性估计问题,通过使用高斯过程理论并提出算法计算当前模型在输入空间中的紧密强度,并应用于两个例子中:一个 GP 回归问题和一个全连接深度神经网络来研究 MNIST 数据集上的对抗性例子。
Sep, 2018
为了扩展标准高斯过程回归到大规模数据集,聚合模型采用因子化训练过程,然后结合来自分布式专家的预测。然而,现有的聚合模型要么提供不一致的预测,要么需要耗时的聚合过程。本文对典型聚合方式使用不连续或随机数据划分的不一致性进行了证明,并提出了一种高效且一致性的大规模高斯过程聚合模型。所提出的模型继承了聚合的优点,如闭合形式推理和聚合,并行化和分布式计算。此外,理论和实证分析表明,由于预测一致,所以新的聚合模型在训练样本接近无穷大时会更加优越。
Jun, 2018
本文提出了一种改进的贝叶斯推断方法,可以通过条件数据的经验分布邻域而不是实际数据,提高模型对扰动的鲁棒性;该方法使用基于相对熵估计的邻域,通过将似然函数提升到分数次幂(即 tempering),使得可以使用标准方法实现推断,甚至在使用共轭先验时也能获得解析解。实验结果表明,在混合模型、未知阶数自回归模型及线性回归变量选择等任务中都能得到良好表现。
Jun, 2015