我们提出了一种快速的非迭代近似推理方法,通过前馈网络实现从变分后验进行有效精确抽样,该方法通过应用几种直观的模型独立方差减少技术,优于 MNIST 和 Reuters RCV1 文件数据集上的唤醒 - 睡眠算法,并取得了最新成果。
Jan, 2014
本研究提出了一种名为 Wake-Sleep Recurrent Attention Model 的方法,该方法采用了对深度生成模型训练的技术,解决了随机注意力网络在后验推理和随机梯度估计方面的问题,并大大提高了图像分类和字幕生成领域中随机注意力网络的训练时间。
Sep, 2015
该研究提出了一种基于重加权唤醒休眠(RWS)算法的大规模并行机器学习方法,可在泛类模型下进行贝叶斯推断,并通过重要性加权和对生成模型中条件独立性的利用,在多项式时间内对所有可能的样本组合进行单独推理。
May, 2023
本研究介绍了一种利用学习启发式逼近随机反演的方法来摊销有向图模型中的推理,它专门设计用作顺序蒙特卡罗方法中的提议分布。我们描述了一种构建和学习结构神经网络的方法,该网络表示图形模型的逆因子分解,从而得到一个有条件密度估计器,该估计器以所观察到的随机变量的特定值作为输入,并返回潜变量的分布的近似值。可以在离线、独立于任何特定数据集、在执行推理之前学习这个识别模型。这些网络的输出可以用作自动学习的高质量提议分布,以加速在各种问题设置中进行顺序蒙特卡罗。
Feb, 2016
本文指出,关于促进稀疏性的更强大的贝叶斯算法具有类似于长短期记忆 (LSTM) 网络或先前设计用于序列预测的替代门控反馈网络的结构,从而导致了一种新的稀疏估计系统,当授予训练数据时,可以在其他算法失败的方案中高效地估计最优解,包括在实际方向 - 到达 (DOA) 和三维几何恢复问题中。
Jun, 2017
本研究提出 WaveSleepNet,一种可解释的神经网络用于睡眠分期,在训练过程中利用隐藏空间表示来识别不同睡眠阶段的特征波样本,通过评分确定波样本在输入信号中的存在和相对比例,并通过多个损失函数进行训练以确保波样本的多样性和稳健性。通过对三个公共数据集的验证,证实 WaveSleepNet 达到与最先进模型相媲美的睡眠分期性能,通过详细案例研究解释了 WaveSleepNet 的决策过程,并与美国睡眠医学会(AASM)手册指南紧密对齐,其透明的过程为专家们提供了直接访问其标准的生理意义,以供睡眠专家未来的调整或丰富。
Apr, 2024
本文研究用于生成模型的随机控制流模型的学习问题,提出了一种基于重加权的 wake-sleep 算法,证明在学习 SCFMs 方面胜过其他现有的方法,是竞争力和优选的选择。
May, 2018
本文提出了一种新的深度生成模型训练方法,将自下而上的近似推断模型和自上而下的生成模型互相逆转,取得了最先进的生成模型,使近似推断的效率更高。
Jun, 2015
本文研究一种基于 Monte Carlo 采样的 “前向” 算法家族,用于解决在信念网络上计算概率推理的问题,并提出了几种改进策略以降低后验方差。
Mar, 2013
本文介绍了一种具有可证明保证的算法,学习了一个由 Hinton 等人推广的生成模型视图中的深度网络类。该算法使用分层学习的技术,通过观察特征的相关性和使用全局图恢复过程推断出底层网络的边缘结构,并揭示了随机边缘权重神经网络的有趣结构。
Oct, 2013