- 随机占据核方法用于系统识别
使用占位核方法从数据中非参数地学习常微分方程,提出了一种两步法来学习随机微分方程的漂移和扩散,第一步使用占位核算法学习漂移,第二步使用半定规划学习扩散,以核的平方关联的 RKHS 中学习扩散的平方作为非负函数。
- 嵌入流形上的二阶微分算子、随机微分方程和布朗运动
在给定的内积空间 E 中,我们研究了流形 M 作为随机微分方程的一个不变流形的条件,将其与 M 上的二阶微分算符的概念联系起来。当 M 被赋予一个黎曼度量时,我们导出了 Laplace-Beltrami 算符的简单公式,同时构造了 M 上的 - 扩散目标生成的协方差自适应顺序黑盒优化
通过使用黑盒用户目标评分,我们提出一种基于扩散模型的目标引导生成方法,并采用协方差自适应的顺序优化算法来优化未知过渡动态下的累积黑盒评分,实验证明该方法在实现更好目标评分方面具有卓越的性能。
- 随机 ADMM 及其变体的一般连续时间公式
广义随机 ADMM 是一种统一的算法框架,通过对随机 ADMM 及其变种进行连续时间分析,证明在适当缩放下,随机 ADMM 的轨迹弱收敛到带有小噪声的随机微分方程的解,同时提供了为什么松弛参数应选择在 0 到 2 之间的理论解释。
- 从随机微分方程的角度插拔播算法收敛分析
通过将 PnP 算法描述为连续随机微分方程的马尔科夫过程,我们揭示了更高层次的 PnP 算法框架,根据相应 SDE 的可解条件,为 PnP 的收敛性提供了统一的理论基础,并发现了一个更弱的条件,即具有 Lipschitz 连续测量函数的有界 - 神经薛定谔桥匹配用于全色影像锐化
本研究提出了一种基于扩散概率模型和随机微分方程的倒问题方法,通过使用 Schrödinger bridge 匹配方法解决信息损失和采样效率问题,从而提高图像融合的性能。
- 离线强化学习中的熵正则化扩散策略与 Q - 集合
这篇论文介绍了用于离线强化学习的训练扩散策略的先进技术。核心是一种均值回归的随机微分方程 (SDE),它将复杂的动作分布转化为标准的高斯分布,然后在已知环境状态的条件下采样动作,这类似于典型的扩散策略。我们证明了这种 SDE 有一个解,可以 - 基于扩散的语音增强的方差分析
扩散模型在生成式语音增强中被证明是强大的模型。本文强调方差的规模是语音增强性能的主要参数,并显示它控制了噪声衰减和语音失真之间的权衡,更具体地说,较大的方差增加了噪声衰减并允许减少计算量。
- 随机性的恩惠:在基于扩散的图像编辑中,随机微分方程优于常微分方程
我们提出了一种统一的概率形式用于扩散式图像编辑,其中潜变量以任务特定的方式进行编辑,并且通常偏离原始随机微分方程或常微分方程(SDE 或 ODE)引起的相应边际分布。代之以定义了一个相应的 SDE 或 ODE 进行编辑。我们在公式中证明了两 - 采样、优化和提升的广义伊藤链的伊藤扩散逼近
这项工作考虑了一类非常普遍而广泛的 Markov 链,即类似于某些随机微分方程的 Euler-Maryama 离散化的 Ito 链。我们研究的链是一个统一的理论分析框架,与大多数相关论文中的正常和状态独立的噪声不同,它具有几乎任意的各向同性 - 降噪扩散桥模型
通过扩展扩散模型,使用扩散桥模型作为一种自然替代方法,该模型通过从数据中学习扩散桥分数并解决基于这些分数的(随机)微分方程,将一种分布映射到另一种分布,从而实现图像编辑等应用中纳入非随机噪声信息的目标。
- 蒙特卡洛模拟和最大最优传输中的政策梯度最优相关搜索用于方差缩减
提出了一种新的算法用于估计方差的减小,其中 X 是某个随机微分方程的解,f 是测试函数。新的估计器是 (f (X^1_T)+f (X^2_T))/2,其中 X^1 和 X^2 的边际法与 X 相同,但路径上具有相关性以减小方差。最优关联函数 - 有形状变形器:无限深度和宽度限制下的注意力模型
在深度学习理论中,表示的协方差矩阵被用作检查网络可训练性的代理,因此我们对具有跳过连接的修改 Softmax-based 注意力模型的协方差矩阵进行研究,发现在初始化时极限分布可以由深度到宽度比率索引的随机微分方程 (SDE) 描述,我们改 - 均质空间上的潜隐式微分方程
研究在一个固定的同质化潜在空间中的矩阵李群诱导的随机微分方程类型中的变分贝叶斯推断问题,并以具有竞争力的或甚至是最先进的性能完成各种时间序列插值和分类基准测试。
- 连续强化学习的策略优化
研究了强化学习在连续时间和空间的设置下的应用,提出了购买力占据时间的概念,并进一步将其应用于策略梯度和 TRPO/PPO 方法中。通过数值实验,验证了此方法的有效性和优势。
- SE-Bridge:使用恒定布朗桥的语音增强
SE-Bridge 是一种基于稳定性模型的语音增强方法,通过解决一个随机微分方程并结合布朗桥过程,能够在多种指标上达到最先进的效果,并提高 15 倍的采样效率,同时在 ASR 和 SV 等下游任务中也表现出了良好的性能。
- ICLR本地 SGD 何时、为何比 SGD 泛化性更好?
本文基于随机微分方程(SDE)模型解释了为什么(和何时)局部 SGD 具有更好的泛化性能,并证实具有较小的学习率和足够长的训练时间是取得泛化性能提升的必要条件。
- gDDIM: 广义去噪扩散隐式模型
本研究从数值角度考察了 DDIM 的机制,发现在解决相关的随机微分方程时可以利用一些特定的得分逼近,提出了一种解释 DDIM 加速效果的方法,并在此基础上对其进行了扩展以适用于一般扩散模型, coined 为 generalized DDI - 神经协方差 SDE:初始化时形态无限深度和宽度的网络
本文研究了前馈神经网络初始化时 logit 输出在上一个层定义的随机协方差矩阵下的条件高斯分布,探讨了这个矩阵的分布、激活函数的精确扩展、随机微分方程的控制以及基于激活函数的权重矩阵的状况。
- 关于利用方差缩减方法对于随机连续环境下的时差学习进行修正
本文研究了使用时差学习算法评估连续时间进程的策略评估问题,并根据随机微分方程的时间离散化来学习连续值函数。通过为差分学习提供零均值修正,我们提出了一种鲁棒的算法,包括两种算法:一种是基于模型的算法,另一种是基于无模型的算法,其收敛性得到了证