langevin dynamics | BriefGPT

关键词langevin dynamics

搜索结果 - 39

Langevin 动力学的模式寻找特性研究
该研究探讨了 Langevin 动力学在多模态分布中生成样本的能力以及它的模式寻找特性，提出了一种改进方法 ——Chained Langevin Dynamics，以减少其模式寻找的倾向，并通过理论分析和数值实验验证了其有效性。
PDFa month ago
随机重启以克服标签噪声导致的神经网络过拟合
重启训练在含有噪声标签的深度神经网络中显著提高泛化性能，通过近似随机梯度下降动力学为朗之万动力学，我们理论上证明了重启可以在批量大小和损坏数据比例增加时提供巨大改进。同时，我们实验证实了我们的理论，证明了通过重启可以显著改善性能，并且我们的
PDFa month ago
近似 Thompson 抽样用于学习线性二次调节器的 $O (\sqrt {T})$ 遗憾
我们提出了一种近似的 Thompson 采样算法，用于学习具有改进贝叶斯后悔界限为 O (√T) 的线性二次调节器（LQR）。我们的方法利用了经过细致设计的 Langevin 动力学和简单的激励机制。我们展示了激励信号随时间增长引起预条件器
PDFa month ago
生成型扩散模型的非平衡物理学
透明物理分析推导了扩散模型中的涨落定理、熵产生、Franz-Parisi 势函数，从非平衡物理的角度理解了最近发现的内在相变现象，该统一原理预计将引导机器学习从业者设计更好的算法，也将把机器学习与非平衡热力学联系起来。
PDFa month ago
基于随机集的 PAC-Bayesian 理论对数据依赖假设集的统一泛化界限
我们从 PAC-Bayesian 的角度提出了数据相关的均匀泛化界，通过将训练算法输出的数据相关假设集应用于随机集的严格方法，我们证明了数据相关的界，适用于多种情境，并将此方法应用于基于分形维度的泛化界和连续 Langevin 动力学以及随
PDF2 months ago
高阶 Langevin 动力学的生成模型
提出了基于高阶 Langevin 动力学和评分匹配的快速高质量生成建模方法，通过同时建模位置、速度和加速度来改善数据生成的质量和速度，显著提高了 CIFAR-10 数据集上的 Frechet inception distance 和负对数似
PDF2 months ago
使用分布式边布局进行图形学习
图神经网络（GNNs）通过基于特定的拓扑布局在邻居节点之间通过边缘传递局部消息来学习图结构化数据。本文首次提出使用具备显式物理能量的玻尔兹曼分布所搭配的 Langevin 动力学全局采样拓扑布局，以提升其在物理世界中的适用性。我们认为这样的
PDF4 months ago
AAAIPreconditioned Langevin 动态预期损失揭示 Hessian Rank
预处理 Langevin 动力学在目标函数的稳态点附近的期望损失与目标函数的 Hessian 排名成正比，并在神经网络中的应用中比较了类似 SGD 和类似 Adam 的预处理器的期望损失。
PDF4 months ago
时间非齐次随机微分方程的费舍尔信息耗散
我们对时间非齐次变系数随机微分方程（SDE）提供了一种 Lyapunov 收敛分析。以过阻尼、不可逆驱动和欠阻尼 Langevin 动力学为例，我们首先将 Langevin 动力学的概率转移方程表示为相对于时间相关的最优传输度量在概率空间中
PDF5 months ago
使用扩散图进行稳定的生成建模
我们提出了一个结合扩散映射和兰格朗日动力学的生成模型，通过扩散映射近似训练样本的漂移项，并在离散时间的兰格朗日采样器中实现，以生成新样本。通过设置核带宽与未调整的兰格朗日算法中使用的时间步长相匹配，我们的方法有效地解决了通常与时间步长严重随
PDF6 months ago
连续空间中的无限时间跨度均值场问题的深度强化学习
我们提出了一种强化学习算法，用于以统一的方式解决连续空间均场博弈和均场控制问题。该算法使用参考分数函数和 Langevin 动力学来表示均场分布，通过在线方式高效地更新，并通过迭代更新，收敛于给定均场问题的均衡点或最优点。该算法可以简单修改
PDF9 months ago
流动中的采样：扩散与自回归神经网络的自旋玻璃视角
利用流水、扩散或自回归神经网络等生成模型进行的抽样分析工作，发现在某些参数范围内，这些方法可能无法高效抽样，而标准的 Monte Carlo 或 Langevin 方法则可行。然而，在其他参数范围内，这些生成模型的方法效果更好，而标准方法却
PDF10 months ago
基于得分的生成模型，利用旋转一致性约束进行光声图像重建
利用概率模型，我们提出了一种旋转一致性约束的基于分数的生成模型（RCC-SGM），通过采样 Langevin 动力学和约束项之间的迭代建立 PAT 图像，可支持不同的测量过程，并达到更好的 PSNR 表现（32.29 比 16 次随机采样的
PDFa year ago
随机安全性的计算成本
本文探讨了使用长时程持续 Chain Monte Carlo 模拟 Langevin 动力学是否能提高能量模型（EBM）所达到的表示质量。通过对训练好的 EBM 执行扩散过程的 Monte Carlo 模拟，并使用改进的对抗鲁棒性和独立分类
PDFa year ago
ICMLTR0N: 零样本即插即用条件生成的翻译网络
TR0N 是一个高度通用的框架，可以将预训练的无条件生成模型转化为有条件模型，从而实现翻译不同空间之间数据协调的目的，它不需要训练数据或微调，但可以达到零样本 FID 为 10.9 的结果，且生成速度非常快，同时保持了更高的通用性。
PDFa year ago
基于梯度的语言模型约束采样
该论文探讨了从预先训练的语言模型中受约束地生成文本的问题，并介绍了一种名为 MuCoLa 的采样过程，通过组合语言模型的对数可能性与任意（可微分）约束，以及使用 Langevin Dynamics 定义的马尔科夫链来生成文本。结果显示，Mu
PDF2 years ago
均场 Langevin 动力学的凸分析
该研究在连续和离散时间设置下，针对正则化的目标函数给出了关于均值场 Langevin 动力学的简洁、自包含的收敛速率分析。作者证明了命题的关键在于该理论的复合推广的 Gibbs 分布。作者发现该分布与经验风险最小化中的对偶间隙存在关联，这可
PDF2 years ago
通过去噪估计数据分布的高阶梯度
提出了一种直接从样本估计高阶导数的方法，并将其应用于数据密度的分析与合成，提高了模型的精度和效率。
PDF3 years ago
基于得分的生成神经网络用于大规模最优传输
本文提出了一种基于得分的生成模型，通过 Langevin 动态学习和采样源数据和目标数据之间的 Sinkhorn 耦合，从而解决大规模最优输运问题。
PDF3 years ago
具有深度生成先验的鲁棒压缩感知 MRI
本文成功应用了 CSGM (Bora-Jalal-Price-Dimakis'17) 框架于临床 MRI 数据上，通过训练大脑扫描图像来生成先验分布，进而使用 Langevin 动态采样实现高质量的重建，在实验中表现出对真实分布和测量过程的
PDF3 years ago