重要性加权生成网络
采用似然比未知的情况下可估计的概率分类器进行样本权重优化的无似然比重要加权方法,可以用于校正生成模型中的偏差问题,并提高生成模型的样本质量和性能。
Jun, 2019
本文提出一种有效的计算深度学习模型中 loss value 的方法,它使用小型模型在并行训练时提高了深度学习优化中重要抽样的应用。结果表明,此方法在测试深度卷积和递归神经网络的图像分类和语言建模任务时取得了良好的普适性。
May, 2017
本文提出一种方法,通过跟踪神经网络在优化过程中的权重轨迹从而计算 DNN 的权重分布,进而通过从这些分布中抽样网络来评估 DNN 的认知不确定性。该方法无需更改架构或训练过程,在标准分类和回归基准测试以及分类和语义分割的混淆数据检测上具有竞争性的结果,同时保持较高的计算效率。
Dec, 2019
我们引入了一种概率分布和高效的采样算法来处理神经网络中的权重和偏差参数,通过玩具模型和实际数据集的实验,证明了我们构造的采样网络是普适逼近器,并且采样框架对于输入数据的缩放和旋转是不变的,这意味着许多流行的预处理技术不再需要。
Jun, 2023
本文探讨了稳健的重要性加权学习算法在深度神经网络中的影响,并发现对神经网络的影响在训练早期更加明显,但随着训练的继续,这种影响逐渐减弱,L2 正则化和批量归一化可以部分恢复重要性加权的影响,但表达方式并不正确。
Dec, 2018
提出了一种利用深度生成模型进行优化的方法,通过周期性地在优化轨迹中重新训练生成模型并根据目标函数值加权来有效地提高样本效率和性能。
Jun, 2020
提供了一个实用的、统计上连贯的方案,可在通用损失函数下主动学习二分类器,该算法使用重要性加权来纠正抽样偏差,并通过控制变量来给出严格的标签复杂性界限,实验表明,该方法减少了实现许多学习问题的良好预测性能所需的标签复杂性。
Dec, 2008
本文提供一种简单的过程,用于将生成网络适配成目标分布,从而实现小的 Wasserstein 距离,从而逐渐将生成器网络调整为目标分布。在 MNIST 和 Thin-8 数据的训练和测试集上,实现了良好的性能。
Jun, 2019
通过理论支持,本文提出一种优雅而有效的加权策略,解决了扩散模型中常数加权策略带来的估计偏差问题。并通过实证评估表明,提出的去偏估计方法在样本质量、训练效率和采样效率方面均显著优于基准方法。
Oct, 2023
使用加权样本进行概率密度函数估计是所有自适应重要性采样算法的主要基础。本文提出使用变分自编码器参数化的近似模型来解决传统非参数模型或参数模型在高维度和灵活性方面的问题,并结合重要性采样算法对目标分布进行采样。
Oct, 2023