通过利用神经网络逼近高斯核的能量函数并借此在随机噪声下进行稳健分类问题,本文提出了经验贝叶斯平滑分类器并在随机平滑框架下进行了理论研究,并在 MNIST 数据集上进行了测试,通过对抗训练和以所学平滑密度为基础的走 - 跳采样,实现了比经验防御更高的稳健性能。
May, 2020
该研究提出了一种新的概率模型 —— 贝叶斯核嵌入模型,它可以用于解决核学习中的核选择问题,并给出了一个简单、方便的边缘似然函数用于确定核超参数。
Mar, 2016
Bayesian 脑理论探讨了大脑采用生成模型来理解外界世界。本研究提出了分层指数族能量模型(HEE 模型),用于捕捉推断和学习的动态。通过将分区函数分解为个别层,并利用一组具有较短时间常数的神经元来采样分解归一化项的梯度,我们的模型能够同时估计分区函数并执行推断,避免了常规能量模型中遇到的负相位问题。此外,我们展示神经适应可以作为动量项,显著加快推断过程,以适应大脑的快速计算。在自然图像数据集上,我们的模型展示出与生物视觉系统中观察到的相似表示。此外,对于机器学习社区,我们的模型可以通过联合或边缘生成产生观测数据。我们表明边缘生成优于联合生成,并且与其他能量模型的表现相当。
Oct, 2023
本文提出了一种新颖的神经自适应经验贝叶斯(NA-EB)框架,该框架结合了变分推断和梯度上升算法,以实现同步超参数选择和后验分布的近似,从而提高计算效率,并通过对各种任务的广泛评估展示了我们提出框架在预测准确性和不确定性量化方面的优越性。
Apr, 2024
研究了一种基于经验贝叶斯方法的估计计算模型,可以适应稀疏和密集序列,使用这种模型可以实现多种类型和程度的稀疏度,包括 “几乎黑线性” 序列和规范化的 Lp 范数序列。结果表明,该方法在各类序列估计速率方面达到最优状态,并且能够自动适应底层信号的稀疏性。
Oct, 2004
本文介绍了一种基于 Jarzynski 平等和序贯蒙特卡洛抽样工具的改进型未校正 Langevin 算法来更有效地计算交叉熵的梯度,避免了标准对比散度算法中存在的不可控逼近问题,在高斯混合分布和 MNIST 数据集上的实验结果均显示该方法优于对比散度算法。
May, 2023
本文探讨了机器学习和统计学中的两个问题:密度估计和无似然推断,结合深度学习中新方法,提出了有效解决方案。
Oct, 2019
本文介绍了在非线性结构数据中使用 NK-GPs 进行 policy learning 的方法,并比较了 GP 和 Student's t-process(TP)两种方法的表现,提出了一个用于独立测量算法学习表现和探索能力的框架,并探讨了训练频率和模型分区等实际考虑因素。
Nov, 2021
本文研究了如何在推理和物理交互等任务中自动发现分布式符号样式表示,通过使用不同 iable 的聚类方法,并验证其有效性。
Aug, 2017
论文研究了一个新的、广义的针对函数空间的目标函数,应用于机器学习中核函数和数据分布定义的积分算子的主特征向量的训练。该方法通过近似高斯牛顿矩阵来实现线性化的深度神经网络在现代图像分类数据集上的扩展,能够提供对多元函数的准确逼近。
Apr, 2022