大规模并行重加权唤醒-睡眠
本文提出了使用两种SAT编码的噪声OR和两种编码的噪声MAX的技术,以提高Bayesian网络的精确推理。经过实验评估,我们的技术在具有噪声OR/MAX关系的网络中获得了最佳效果。
Jan, 2014
通过对梯度的多次估计,改进比重加权的wake-sleep算法可有效训练Helmholtz machines和deep belief networks模型,同时NADE作为一种更强大的模型代替sigmoidal belief network可以更好地估计后验分布。
Jun, 2014
本研究提出了一种名为Wake-Sleep Recurrent Attention Model的方法,该方法采用了对深度生成模型训练的技术,解决了随机注意力网络在后验推理和随机梯度估计方面的问题,并大大提高了图像分类和字幕生成领域中随机注意力网络的训练时间。
Sep, 2015
本研究提出了一种方法,通过将每个观察的可能性变为一种权重,从数据中推断连续变量和权重,以检测和减轻大量概率模型的不匹配性,并明确不同类型的不匹配性对模型的影响与表现,这有助于提高模型的鲁棒性和预测准确性。
Jun, 2016
本文研究用于生成模型的随机控制流模型的学习问题,提出了一种基于重加权的wake-sleep算法,证明在学习SCFMs方面胜过其他现有的方法,是竞争力和优选的选择。
May, 2018
本文研究使用重要性采样方法对概率变分推断的影响,并提出了“重要性加权变分推断(IWVI)”技术,它是“增广变分推断”的一种实例,能够改善低维准确性和高维收敛性,实验证实了其对概率推断的实用性。
Aug, 2018
提出了两种将贝叶斯模型组合起来的工具:log-linear pooling和quantum superposition,并通过Hyvarinen分数对模型权重进行优化,以解决计算正常化常数的负担。
May, 2023
通过扭曲的神经自适应平滑(NAS-X)方法,我们展示了一种基于重新加权唤醒-睡眠(RWS)的顺序潜变量模型的学习和推理方法。NAS-X适用于离散和连续潜变量,并利用平滑SMC来适应比传统RWS方法更广泛的模型。我们在离散和连续任务上测试了NAS-X,并发现它在推理和参数恢复方面显著优于以前的变分和基于RWS的方法。
Aug, 2023
利用重新参数化的技术,我们展示了一个小型卷积模型在推断过程中提供了低延迟和高准确性的权衡,且具有较低的内存占用和计算成本。我们的重新参数化模型在准确性方面提高了43%,而与单分支卷积模型相比具有相同的运行时间。与复杂结构如BC-ResNet相比,RepCNN模型的内存使用减少了2倍,运行时间快了10倍。
Jun, 2024