使用机器学习技术和变分增强采样方法结合来快速采样自由能面,通过采用神经网络表示偏差来决定采样的参数,在重复学习方案中对其进行确定并打破一些壁垒
Apr, 2019
本研究旨在提出适用于顺序决策系统的两种自适应重要性采样算法,以高效地评估罕见事件的概率。该方法基于状态依赖的提议分布与目标分布之间的 Kullback-Leibler 散度最小化,用于减少精度方面的误差和处理多峰性提议分布的问题,并将多重重要性采样应用于多种基线以显示准确性改进。
Nov, 2022
本文提出一种有效的计算深度学习模型中 loss value 的方法,它使用小型模型在并行训练时提高了深度学习优化中重要抽样的应用。结果表明,此方法在测试深度卷积和递归神经网络的图像分类和语言建模任务时取得了良好的普适性。
May, 2017
本文提出了一种新的高能物理中散射截面和粒子事件样本生成的方法,通过引入神经网络来克服现有方法的一些缺陷,保证了全相空间覆盖和目标分布精确重现,并通过几个代表性的例子研究了算法的性能,包括顶夸克对产生、三光子和四光子最终态的胶子散射等。
Jan, 2020
本研究提出了一种基于重要性采样的计算优化方案,该方案能够减少深度神经网络训练过程中冗余计算,提升模型的训练效果并有效降低损失。实验结果显示,该方案能够在相同的时间预算下,将训练损失降低一个数量级,并提高测试误差 5%至 17%。
Mar, 2018
本文介绍了基于深度神经网络的非线性独立分量估计(NICE)用于 Monte Carlo 积分中样本生成的应用,并介绍了分段多项式耦合变换、一块编码、基于梯度下降的 KL 和 χ2 散度优化等提高模型性能的改进方案。通过应用于生成自然图像以及在光传输模拟中的两种应用,证明了该方法在不同维度积分领域下具有快速、准确、高性能等特点。
Aug, 2018
本文提出了一种名为 PMCnet 的新算法,该算法采用自适应重要性采样技术,利用复杂的(通常是多峰的)后验概率分布的几何信息,为设计贝叶斯神经网络提供了成功的方法,以实现在医疗保健或自动驾驶等决策重要性较大的领域中的机器学习应用,并同时降低了计算成本。
Oct, 2022
我们引入了一种概率分布和高效的采样算法来处理神经网络中的权重和偏差参数,通过玩具模型和实际数据集的实验,证明了我们构造的采样网络是普适逼近器,并且采样框架对于输入数据的缩放和旋转是不变的,这意味着许多流行的预处理技术不再需要。
Jun, 2023
概率人工神经网络通过将权重视为伯努利硬币翻转,直接对神经网络进行采样,并在几乎保持完全确定性性能的同时描述了正确和不正确的神经网络输出的不确定性。
Nov, 2023
该研究提出一种分布式深度学习框架,其中一组工作者并行搜索最具信息性的示例,而单个工作者则使用重要性抽样方法更新模型。实验证明,当采样提议与梯度的 L2 范数成正比时,该方法可以减少梯度方差,即使在跨机器同步成本不可忽略且重要性抽样因子不会立即更新的情况下也是如此。
Nov, 2015