- 皮尔斯机器:专家模型如何执行假设构建
混合专家是一种机器学习中的预测聚合方法,通过聚合专业专家的预测结果来优化性能,尽管贝叶斯方法在归纳推理方面更有保障,但我们认为混合专家具有更大的功能能力。通过对非限制案例的实验,我们证明在混合专家的极限情况下将比等效的贝叶斯方法具有更大的容 - 粒子物理中喷注重构的变分伪边缘方法
使用重构喷注、贝叶斯方法、序贯蒙特卡罗、变分推断和对撞机物理等关键词,介绍了一种用于推断喷注潜在结构的组合序贯蒙特卡罗方法,以及该方法使用估计器进行参数学习和提供全面贝叶斯处理的可变推理算法。通过使用按照碰撞机物理生成模型生成的数据进行实验 - 证据深度学习方法是否能真实地表示认知不确定性?
可信的机器学习系统不仅应返回准确的预测结果,还应提供可靠的不确定性表示。贝叶斯方法通常用于量化生成论和认知性不确定性,但近年来,备选方法,如证据深度学习方法,已变得流行。这篇论文提出了证据深度学习的新理论洞见,强调了优化二阶损失函数和解释由 - 揭示拉普拉斯近似用于不确定性估计的经验病理
本研究评估了贝叶斯方法在深度学习中用于不确定性估计的方法,重点关注广泛应用的 Laplace 近似及其变体。我们的研究发现,传统的拟合 Hessian 矩阵的方法对于处理超出分布的检测效率产生了负面影响。我们提出了一种不同的观点,认为仅关注 - 评估科学应用中神经 PDE 的不确定量化方法
神经偏微分方程(Neural PDEs)被证明能够有效重构流系统并预测相关的未知参数。然而,基于贝叶斯方法的神经偏微分方程显示出更高的预测确定性,相较于使用 Deep Ensembles 方法得到的结果,可能低估了真实潜在的不确定性。
- 最大权重熵
使用贝叶斯和集成方法,在深度学习中处理不确定性量化和跨分布检测问题,通过最大熵原则来解决预测多样性不足的问题,提出了一种权重参数化的方法,通过奇异值分解来增加权重熵以实现更有效的算法。
- 大语言模型的贝叶斯低秩适应
使用 Laplace-LoRA 方法,对参数高效微调的大型语言模型进行贝叶斯方法,提高模型的校准性。
- 一种基于贝叶斯编程的有限数据下的车辆跟随模型校准和验证方法
使用贝叶斯方法进行数据分析和参数估计,评估交通仿真软件中基于遗传算法的校准过程,研究车辆跟驰模型在模型校准中的层次化建模优势,并应用概率建模对车辆跟驰模型进行验证。
- 利用决策建模挽救数据科学
本文提倡数据科学领域采用 AI 中的贝叶斯方法以建立一个新的应用研究方案,其中包含六个决策质量原则,称为 “决策建模”,并以 ROC 曲线和效用模型为例。
- 基于模仿学习的算法,用于在现代电力市场中实现先验知识转移,用于贝叶斯纳什均衡估计
提出了一种 Bayesian Nash Equilibrium 策略来优化标的策略,利用 Bayes-adaptive Markov Decision Process in FEM(BAMDP-FEM)将先验知识考虑在内,同时使用 Mult - 利用归一化流先验的 Langevin Monte Carlo 用于成像逆问题
本文介绍了将数据模型应用于贝叶斯推断的兰日文采样算法的一种技术,该算法需要一个预先训练好的正则化流作为先验,并分别分析了贝叶斯解决方案的合理性和 NF-ULA 算法的非渐近收敛性。实验结果表明,该方法适用于图像去模糊、补缺失和 X 线断层扫 - CVPR基于梯度的不确定性归因用于可解释的贝叶斯深度学习
提出了可解释和可操作的贝叶斯深度学习方法,不仅能够执行准确的不确定性量化,而且还能解释不确定性,识别其源,并提出减少不确定性影响的策略。
- 神经网络后验不确定性量化的测试时使用 Dropout 注入
本文研究了贝叶斯方法中的一种蒙特卡罗 dropout,提供了在评估神经网络的认知不确定性方面的原则性工具,继而提出了 dropout 注入的方法,它是嵌入式 dropout 的实用替代方案,文中着重研究了回归问题的实验结果,同时指出了其有效 - 基于超网络的贝叶斯 MAML 方法
本文提出了一种名为 BayesianHyperShot 的新方法,它是对 Bayesian MAML 的创新性推广。将贝叶斯原则与超网络结合使用,可更好地收敛于经典学习评估,并通过贝叶斯方法提高了适用性,并使用超网络实现高灵活性的任务自适应 - 基于贝叶斯提示学习的图像 - 语言模型泛化
研究使用变分推理解决 Empirical Risk Minimization 在 prompt learning 中的分布偏移问题,在 15 个用例中通过 Bayesian prompt learning 实现了更好的泛化性能。
- 决策树上的单个 MCMC 链并行化
本研究提出一种方法,通过多核处理减少时间来实现在笔记本电脑上并行化单个 MCMC 决策树链,同时结果与常规串行实现相同。同时计算了在多处理器体系结构上利用该方法可以获得的理论和实际运行时间的降低,并表明该方法可以实现快 18 倍的运行时间。
- 利用高斯贝叶斯模型和神经网络对来自 NASA 高光谱卫星图像数据的 GHISACONUS USGS 数据进行作物分类
本文提供了一种使用标准 LDA、QDA 以及基于贝叶斯方法的分类方法,通过美国地质勘探局卫星搜集的包括五种农作物在内的 7000 个像素光谱数据,进行作物分类识别和生长期预测,其中使用基于贝叶斯的方法可以获得更好的结果,而神经网络的表现则与 - NeuralSympCheck:一种具有逻辑正则化的症状检查和疾病诊断神经模型
文章提出了一种基于监督学习和神经网络模型的逻辑正则化方法来改善症状检查系统,在真实和合成数据上都取得了最佳的诊断准确度。
- 干预在何地、何种方式? 大规模因果模型的实验设计
本文提出将 Bayesian 因果发现方法融入到贝叶斯优化实验设计框架中,可以在选择干预目标和值的同时,发现具有大规模、非线性结构因果模型的有效性已在合成图和基因调控网络数据集上得到验证。
- 参数稀疏性对于贝叶斯深度学习中随机梯度 MCMC 方法的影响
本文探讨使用随机梯度马尔科夫链蒙特卡罗方法作为 Bayesian 推理的核心方法,考虑各种选择稀疏网络结构的方法,以灵活地权衡模型存储成本和推理运行时间与预测性能和不确定性量化能力之间的潜力。实验结果表明,某些随机选择的子结构可以像从最先进