- 通过维度对数 Sobolev 不等式在概率测度中精确检测低维结构
提出了一种通过最小化维度对数 Sobolev 不等式和 KL 散度,以识别目标与参考测度之间的近似关系的方法,该方法适用于高维概率测度的低维结构识别和有效抽样。
- 具有最优协方差匹配的扩散模型
本文通过使用最近提出的全协方差矩匹配技术,引入了一种学习协方差的新方法,以显著提高采样效率,并展示了该方法如何有效地增强马尔科夫和非马尔科夫扩散模型家族的采样效率。
- 解释定制扩散模型的权重空间
通过创建超过 60,000 个基础模型,我们调查了一系列定制扩散模型的权重空间。这些模型是通过微调基本模型以插入不同人的视觉特征而创建的。我们将这些权重的潜在流形建模为一个子空间,我们称之为权重到权重。通过权重空间,我们展示了三个直接的应用 - 通过矩匹配多步蒸馏扩散模型
我们提出了一种新的方法,通过匹配沿采样轨迹给定噪声数据的干净数据的条件期望来将扩散模型加速采样,从而将多步扩散模型提炼为少步模型。我们的方法扩展了最近提出的一步方法到多步情况,并通过以矩匹配的方式解释这些方法,从而提供了一种新的视角。通过使 - 基于随机中点的更快扩散采样:连续和并行
近年来,在扩散模型的离散化界限方面出现了浓厚的兴趣,本文提出了一种新的受 Shen 和 Lee 随机中点方法启发的扩散模型离散化方案,证明了该方法在从任意平滑分布中进行采样的维度依赖方面达到了已知最佳结果,同时还展示了可以将算法并行化以实现 - 解锁离散状态空间扩散和流动模型的指导
在自然科学领域中,离散状态空间上的生成模型具有广泛的潜在应用。本文介绍了一种在离散状态空间模型上应用引导的通用方法,该方法依赖于在离散状态空间上利用连续时间马尔可夫过程,从而实现了从期望的引导分布中进行抽样的计算可行性。我们展示了该方法在图 - 用采样神经网络解决偏微分方程
利用采样方法,从数据无关和数据相关的概率分布中提取隐含权重和偏置的神经网络,可以在训练时间和逼近精度方面取得重大突破,并且能够有效解决时变和静态的偏微分方程以及逆问题,带来了光谱收敛和无网格构建基函数等优势。
- 紧支持上的对数凹采样:一个通用的近端框架
提出了一个支持各种投影选项的通用近端框架,基于凸紧致支撑体上定义的强对数凹分布进行采样,并与多种采样方法无缝集成,主要研究集中在约束采样的 Langevin 型采样算法,提供了 W1 和 W2 误差的非渐进上界,详细比较了这些方法在约束采样 - 分布式学习遇上图结构采样
该研究建立了 PAC 学习高维图模型与图结构计数和采样的新联系,使用在线学习框架,给出了新的样本复杂度界限以及面向树形和给定和弦骨架的贝叶斯网络的多项式样本和时间算法。
- CVPRHashPoint: 加速神经渲染的点搜索与采样
本文中,我们通过我们的 HashPoint 方法,结合光栅化和光线追踪策略,优化了点搜索和采样,并通过自适应采样提高了渲染速度,保持了等效或更高的准确性。
- 基于图神经网络的估计误差最小化的分散学习策略
在多跳无线网络中,通过分布式可扩展的采样和传输策略以及图神经网络结构,优化采样和远程估计研究的主要问题包括缓存并从其他代理处获得最新样本、无线冲突通道和各个网络节点之间的决策制定。
- 基于重建的点云采样方法: REPS
提出了一种基于重建评分策略的采样方法,通过去除和重建顶点来评估每个顶点的重要性。此方法在保留点云整体几何特征的同时避免破坏小尺度结构,在保留采样点云的结构特征方面优于先前方法。
- SE (3) 不变空间中的扩散过程
通过微分几何的视角,本研究对 SE (3) 不变空间中的扩散机制进行了数学界定,揭示了坐标与点间距流形之间的相互作用行为,并提出了准确且无需投影的扩散 SDE 和 ODE 公式,从而提高了生成路径的性能和速度,并为其他包含 SE (3) 不 - 基于梯度的离散采样与自动周期调度
多模离散分布的高效准确采样中,我们提出了一种自动循环调度方法,其中包括循环步长调度、循环平衡调度和自动调整超参数的方案,并证明了其在一般离散分布上的非渐近收敛性和推理保证。广泛实验证明了该方法在采样复杂多模离散分布方面的优势。
- T-Stitch:使用轨迹拼接加速预训练扩散模型的采样
使用 Trajectory Stitching T-Stitch 技术,通过使用较小的 diffusion probabilistic model(DPM)进行初始步骤,然后在后续阶段转换为更大的 DPM,实现采样效率的提高而无需降低生成质 - 语言模型代理的软自一致性改进
大语言模型(LLMs)的生成可以通过对多个解决方案进行采样和评分来提高。目前的 “采样和选择” 方法依靠多数投票来评分答案,但是在任务具有许多不同且有效的答案时,通过投票选择需要大量的样本,这使得对于涉及顺序生成多个操作(答案)的交互式任务 - 探索价值偏见:LLM 模型向理想状态的偏离
一项研究发现,大型语言模型的非故意回应存在价值偏差,倾向于偏爱高价值选项,该偏差在不同领域的语言模型中都存在,并对相关应用场景选择起到影响。
- BlackJAX: JAX 中的可组合贝叶斯推理
BlackJAX 是一个库,用于实现在贝叶斯计算中常用的采样和变分推断算法。它采用了功能性的方法来实现算法,以便于使用、速度快以及具备模块化。
- 多路径环境中的离散概率推断作为控制
通过在整个马尔可夫决策过程中近似强制执行流的守恒,我们扩展了最近的方法来纠正奖励,以确保最优最大熵强化学习策略引发的边缘分布与原始奖励成比例。
- 通过 Langevin MCMC 在 Riemann 流形上进行高效采样
通过几何 Langevin MCMC 从一个 Riemann 流形 M 上的 Gibbs 分布 dπ* 进行高效采样的任务,我们提出了一种在实践中可实现的算法,该算法涉及在随机高斯方向上计算指数映射。通过对几何 Euler-Murayama