通过分析神经网络的数学框架和得分匹配与回归分析之间的创新连接,本文提出了第一次得分函数学习的一般化误差(样本复杂性)边界,从而克服了观测值中存在噪声的问题。
Jan, 2024
本文提出基于分数的扩散模型的最大似然训练方法,其中采用一种特定的权重方案,目标函数上界拘束负对数似然函数,达到了与当前最先进的自回归模型同等水平的负对数似然性能,验证了该方法在多个数据集、随机过程和模型结构上的有效性。
Jan, 2021
本研究提出了一个理论框架,通过将评分匹配和去噪评分匹配视为凸优化问题,对基于两层神经网络的扩散模型进行了分析。尽管现有的扩散理论主要是渐近的,但我们对有限数据的神经网络扩散模型进行了确切的预测评分函数表征,并建立了收敛结果,从而有助于理解非渐近设置中神经网络扩散模型的学习过程。
Feb, 2024
对于扩散模型的准确性进行了理论研究,通过梯度下降方法对去噪积分评分匹配的训练和采样过程进行了非渐近收敛分析,并提供了方差爆炸模型的抽样误差分析。通过这两个结果的结合,明确了如何设计有效生成的训练和采样过程。
Jun, 2024
本文提出了一种基于随机微分方程的得分模型生成方法,通过缓慢注入噪声将复杂数据分布平滑地转换为已知的先验分布,并通过缓慢地消除噪声将先验分布转换回数据分布,同时利用基于神经网络的得分生成建模技术可以精确估计这些得分,并使用数值微分方程求解器生成样本。
Nov, 2020
提出了一种基于扩散的表示学习方法,通过扩展去噪得分匹配框架实现无监督学习;使用此方法学习无限维潜在码,实现半监督图像分类的最优结果,并通过下游任务的表现比较与其他方法的学习表示质量。
May, 2021
该研究提出了一种使用分数梯度模型重构图像的方法,并使用连续时间依赖分数函数进行训练。该模型可用于解决成像的反问题,尤其是加速 MRI,具有强大的性能及实用性,并且可重构复杂值数据。
Oct, 2021
该研究从几何角度探讨了基于得分模型的扩散生成模型,证明了加噪声和从噪声生成的正向和反向过程在概率测度空间中是 Wasserstein 梯度流。同时给出了附加传统得分模型的投影步骤的直观几何解决方案,提出了减少采样时间的方法。
Feb, 2023
基于得分扩散模型的监督式学习框架用于训练生成模型,并通过生成标记数据解决了无监督训练中的问题,提高了采样效率和神经网络训练的时间节省。
Oct, 2023
本研究提出了一种名为去噪扩散算子的数学严谨框架,用于在函数空间中训练扩散模型,将它推广到无限维函数空间的应用,其中前向过程是逐渐扰动输入函数,生成过程是通过积分的函数值 Langevin 动力学实现。