- 贝叶斯在线自然梯度(BONG)
我们提出了一种基于变分贝叶斯的顺序贝叶斯推断新方法,该方法在在线设置中通过一步自然梯度下降从先验预测开始优化期望对数似然,证明了该方法在共轭模型下可以恢复准确的贝叶斯推断,并在非共轭设置中在计算成本可控情况下,实验上优于其他在线 VB 方法 - 自由能原理的神经网络实现
本文是关于自由能原理的计算模型和机器学习中的应用尝试,提出了使用经典的神经网络模型 Helmholtz 机连接自由能原理和机器学习,并通过实验验证了假设。
- 基于贝叶斯框架的从数据中学习控制偏微分方程
通过机器学习中的变分贝叶斯和稀疏线性回归的组合方法,提出了一种新的从数据中发现偏微分方程的方法,可应用于物理、工程和生物学领域等。
- MM基于 UWB 波形的半监督学习方法用于测距误差补偿
本文提出了一种基于变分贝叶斯的半监督深度学习方法,用于 UWB 定位系统的误差校正,通过融合深度学习技术和统计工具,实现从有标记和未标记的数据样本中高效地累积知识,相较于其他全监督方法,即使在低监督比例下,也取得了更好的性能。
- 简化变分贝叶斯
本文介绍了一种简化变分贝叶斯方法的步骤,通过显式寻找关于已知分布期望的线性表达形式,从而直观简化先验形式的识别,实现更加便捷、快速、简短和通用的更新方法。
- 完全变分噪声对比估计
本文提出了一种使用正确评分规则理论的噪声对比估计(NCE)方法家族,适用于潜变量模型;这个方法家族可以通过类似变分贝叶斯的方式从数据样本和噪声样本中提取并利用信息,并被称为全变分噪声对比估计时损失函数,其中,变分自编码器是其中的一种,也可以 - AAAI基于随机竞争激活的竞争互信息约束学习多样化表征
通过将信息论和随机竞争激活结合起来,本文提出一种去除常规深度学习架构中非线性激活的方法,使用局部和随机竞争的线性单元替代,从而实现学习多样化表征,同时在图像分类基准数据集上进行了实验验证,结果表明该方法具有显著的表征学习能力和推断机制。
- 高斯过程回归中稀疏变分近似的收缩速率
研究变分贝叶斯方法在高斯过程回归模型中的理论特性,针对 Titsias 引入的感应变量方法推导出相应变分贝叶斯(VB)后验获得收缩速率的充分条件,证明了针对三种特定的协方差核函数(Matern 核函数,平方指数核函数和随机级数先验)VB 方 - ICCVDECA:使用胶囊自编码器进行深度视点等变的人体姿态估计
本文介绍了一种新型胶囊自编码器网络 DECA,在人体姿势估计方面解决了现有 3D HPE 方法存在的视角不变性缺失问题,提高了它们对未见训练数据视角泛化能力。在深度图像上的实验验证中,我们表现优于其他方法,同时在 RGB 域上建立了一种新的 - 高维 logistic 回归的钉板变分贝叶斯
研究变分贝叶斯对于稀疏高维逻辑回归中广泛使用的贝叶斯模型选择先验的均场尖峰和板 VB 近似,该方法可以在 L2 和预测损失方面为稀疏的实际结果提供最佳收敛速率,并给出了有效的先验选择方法。
- ICML条件变分自编码器进行异常检测
本文探讨了如何使用变分贝叶斯和变分自编码器(VAEs)进行异常检测(AD)任务,提出了一个新的方法来处理具有层次结构的数据。该方法在经典机器学习基准测试和监测 CERN 大型强子对撞机(LHC)实验的触发系统等应用中表现出卓越的性能。
- ACL贝叶斯分层词表示学习
本文提出了 BHWR 算法,该算法通过引入层级先验实现变分贝叶斯单词表示学习和语义分类建模以及从相关单词之间传播相关信息,以提高其表示质量,同时在多个语言数据集上进行评估,表明 BHWR 相对于基于或不基于语义先验的适当替代方法具有优势,并 - 坚持事实:自信解码实现忠实数据到文本生成
本文针对数据到文本生成中存在的幻觉问题,提出通过引入自信度分数及变分贝叶斯训练框架来防止生成不受原数据支持的文本,实验结果表明该方法比现有最先进的方法更加忠实于原始数据,并在 WebNLG 数据集上取得强大的表现。
- 流形上的变分贝叶斯
本文将 VB 方法的范围扩展到 Riemann 流形的情况,开发了一种基于流形的 VB 算法,对概率分布进行逼近。所提出的算法在数值实验中表现稳定,较现有 VB 方法更具优势。
- AAAI可变贝叶斯胶囊路由
该论文提出了一种新的 Capsule Routing Algorithm,利用 Variational Bayes 拟合 Transforming Gaussians 的混合模型,实现了 Capsule VAE 的转换,并成功解决了 MLE - ICLR多智能体强化学习的概率递归推理
本论文提出了一种基于递归推理与变分 Bayes 方法的多智体强化学习框架,该框架可以用于建模智体对手的行为,提高智体的自我决策能力以及使其在博弈中达成 Nash 均衡。实验证明,关于智体对手信念的推理,是智体强化学习中一个重要的方向。
- 鲁棒贝叶斯神经网络的确定性变分推断
本研究提出两种创新方法以将变分贝叶斯转化为贝叶斯神经网络的稳健推理工具:一种新的确定性方法用于逼近神经网络的矩,消除了梯度方差;一种参数的分层先验和自动选择先验方差的新的经验贝叶斯程序。将这两种方法结合起来,所得到的方法高效而稳健,在异方差 - 逻辑模型的条件共轭均值场变分贝叶斯
该论文介绍了病态模型中使用简单的 VB 策略进行贝叶斯推断的方法,其中特别探讨了在具有 logit 组件的模型中,logistic likelihood 和 linear predictor 系数的 Gaussian prior 之间的缺乏 - 变分贝叶斯方法的频率派一致性
本文证明了变分贝叶斯法在频率学意义下是稳健的,它可以通过极小化 KL 散度来估计后验分布,并且其对应的参数的变分期望是一致的和渐近正态的。此理论应用于贝叶斯混合模型、Bayesian 广义线性混合模型和贝叶斯随机块模型,并通过模拟研究进行了 - 贝叶斯递归神经网络
使用变分贝叶斯方法和后向传播裁剪算法等对循环神经网络进行训练,大幅降低了参数数量和提高了贝叶斯逼近性能。在语言建模和图像描述等任务中,贝叶斯循环神经网络优于传统循环神经网络。