- 基于维纳过程的局部内在维度估计方法视角
本研究调查了最近最先进的参数化局部内在维度估计方法,从维纳过程的角度探讨了这些方法在其假设不满足时的行为,并给出了这些方法的扩展数学描述以及其误差与数据的概率密度函数之间的关系。
- 一种适用于采样的实用扩散路径
提出使用膨胀路径的简单实现 Langevin 动力学,通过自适应步长来引导扩张路径,以比传统方法更好地完成一系列任务的抽样方法。
- 基于能量的模型指南:与其他生成模型、采样和统计物理之间的全面评述
能量模型(EBMs)已成为生成模型领域中一个强大的框架,通过与统计力学的原理密切契合,提供了独特的视角。本综述旨在为物理学家提供对 EBMs 的全面理解,揭示它们与其他生成模型(如 GAN、VAEs 和正规化流)的联系。我们探讨了对 EBM - AI 能够实现动态降尺度吗?训练一种潜在扩散模型以模仿 COSMO-CLM 的 km 级的 ERA5 降尺度在意大利上
我们通过 Latent Diffusion Model (LDM) 将 ERA5 数据向下扩展到 2 km 的分辨率,目标是证明生成建模的最新进展使得基于深度学习的模型可以提供与数值动力降尺度模型相媲美的结果,给定相同的输入数据(即 ERA - 揭示多样性:对印度 AI 研究领域的综述
该综述论文提供了印度语系大型语言模型(LLM)研究方向的全面概述,包括 LLM 的发展、现有 LLM 的微调、语料库的开发、基准测试和评估以及围绕特定技术、工具和应用的出版物。该论文指出了印度语系的挑战,如数据有限、缺乏标准化和语言复杂性, - 未知姿态下的多视角到 3D 的生成性提升:将 NeRF 包装在扩散中
我们将来自未知姿态的多视图重建问题作为一个生成建模问题。通过一组未标注的场景的 2D 图像,我们的方法同时学习了一个网络来预测从 2D 图像输入中的相机姿态,并学习了用于 3D 场景的神经辐射场(NeRF)的参数。通过在标准去噪目标下使用去 - 优化循环网络拓扑结构的动力系统重构
动态系统重建中的几何修剪可以减少参数负荷,而不显著影响质量,其结果网络具有特定类型的拓扑结构,优于其他研究中的小世界或无标度网络拓扑。
- 离散数据的简化和推广掩码扩散
掩蔽扩散模型是生成离散数据的自回归模型的替代选择,本论文提出了一个简单且通用的框架,解锁了掩蔽扩散模型的全部潜力,并在 OpenWebText 数据集上训练的模型在困惑度上超过了 GPT-2 模型,并在 5 个零 - shot 语言建模任务 - GECO: 生成图像至 3D 的 SECOnd 中
GECO 是一种高质量、高效率的 3D 生成模型,通过两个阶段的训练和优化,实现了优化 3D 生成的质量和效率的平衡。
- 通过保守微调扩散模型,建立基于模型的优化和生成建模的桥梁
通过优化奖励模型的方式,我们采用了一种混合方法来调优顶尖扩散模型,结合了生成模型和基于模型的优化方法的优势,以求解 AI 驱动的设计问题。在离线数据集的常见科学领域中,我们关注的是一个奖励模型未知的离线环境,通过学习静态离线数据集,解决过度 - 高斯流桥在非配对数据下的音频域转换
研究发现,利用高斯流桥,一种新兴的生成建模方法,实现音频领域转移的潜力,通过一系列确定性概率流处理不同分布的音频信号传输问题。该方法通过连续控制变量来改变目标分布的属性,实现目标域的特性操作,而且无需依赖配对样本训练。通过将基于块的小批量合 - Crystal-LSBO:使用潜在空间贝叶斯优化自动设计全新晶体
利用潜在空间贝叶斯优化以及变分自编码器 (VAE) 相结合的方法,通过使用多个 VAE 以及整合模型来简化学习过程和增加探索性,我们的研究开创了利用潜在空间贝叶斯优化来进行全新晶体设计的方法,并通过主要关注形成能量值的优化任务来展示了该方法 - 曝光扩散:通过一致的低动态范围去噪生成高动态范围图像
使用多个预训练的低动态范围 (LDR) 图像扩散模型的协同作用生成高动态范围 (HDR) 图像,并引入曝光一致性项将 LDR 图像融合,达到有效的 HDR 结果。
- 离散数据上生成建模的费舍尔流匹配
Fisher-Flow 是一种用于离散数据生成建模的新型流匹配模型,采用几何学观点,将离散数据视为在统计流形上的点,通过转移沿 $d$- 超球面上的(闭合形式)测地线上的质量来定义流,可以优化训练动力学,提高性能,并在合成和实际基因序列设计 - 马尔可夫流匹配:用连续正规化流加速 MCMC
通过建模生成概率路径的向量场,连续归一化流(CNFs)利用神经网络学习参考密度与目标密度之间的概率路径。本文重新利用流匹配(FM)方法,结合马尔可夫采样方法评估 FM 目标和使用学习的概率路径改进蒙特卡洛采样,将该方法用于概率推断。我们提出 - 通过内部高维混沌活动进行生成建模
利用高维混沌系统中的内部混沌动力学作为一种从训练数据集中生成新数据点的方法,在一组基本架构中通过简单的学习规则来实现这一目标,并通过标准准确度度量来表征生成数据点的质量。
- 扩散模型中的 SAR 图像合成
通过使用特定类型的扩散模型(DDPM)在合成孔径雷达(SAR)领域实现有条件和无条件图像生成,本研究表明 DDPM 在质量上以及定性和定量效果上都优于现有的基于 GAN 的方法,并展示了预训练对于提高 SAR 图像生成质量的益处。
- 无对抗训练的深度最大均值差梯度流
我们提出了一种梯度流程用于生成建模,通过将粒子从初始源分布传输到目标分布,其中粒子上的梯度场由噪声自适应最大均值差异 (MMD) 的梯度给出。我们称该方法为扩散 - MMD - 梯度流或 DMMD。该方法不需要对抗性训练,而与生成对抗网络 - 离散和连续状态空间的桥梁:在时间连续的扩散模型中探索埃伦费斯特过程
通过研究时态连续的马尔可夫跳跃过程和离散状态空间下的状态连续扩散过程之间的对应关系,本研究桥接了离散和连续状态空间,并提出了一种直接与去噪评分匹配相关的马尔可夫跳跃过程的时态逆过程训练算法。
- BUFF:基于提升决策树的超快速流匹配
基于树模型优于深度学习模型在处理表格数据任务方面的表现,我们采用条件流匹配生成模型并使用不同技术融合了 Gradient Boosted Trees 的使用,通过在多个公共数据集上进行多个分析任务的评估,展示了大多数高级仿真任务的训练和推理