- 等变扩散策略
最近的研究表明扩散模型是学习行为克隆中源自示范数据的多模式分布的有效方法,但该方法的缺点在于需要学习一个比学习明确策略更复杂的降噪函数。在本研究中,我们提出了等变扩散策略,这是一种利用域对称性来获得更高样本效率和泛化性能的新型扩散策略学习方 - Langevin 动力学的模式寻找特性研究
该研究探讨了 Langevin 动力学在多模态分布中生成样本的能力以及它的模式寻找特性,提出了一种改进方法 ——Chained Langevin Dynamics,以减少其模式寻找的倾向,并通过理论分析和数值实验验证了其有效性。
- 层次光变换器集成用于多模态轨迹预测
我们提出了一种名为 HLT-Ens 的新方法,利用一种新的分层损失函数,通过组合的全连接层来捕捉多模态分布,有效地训练 Transformer 架构的集合,在轨迹预测技术上取得了最先进的性能水平,为改进轨迹预测技术提供了有希望的途径。
- 通过强化学习分析非信号化路口的混合交通行为
本研究报告探讨了强化学习 (RL) 代理在停车迟迟及加速停车场景中所表现的多模态分布程度,并调查了 RL 控制的机器人车辆 (RVs) 在复杂交通环境中如何有效导航方向与其他车辆进行协作。通过分析多模态队列长度、流量和编队大小分布以及队列长 - 大型语言模型是零 - shot 时间序列预测器
通过将时间序列编码为数字字符串,我们可以将时间序列预测视为文本中的下一个标记预测。我们发现,大型语言模型(LLMs)如 GPT-3 和 LLaMA-2 可以意外地在零样本外推时间序列,其性能与或超过在下游任务上训练的专用时间序列模型相当。为 - 利用基于数据的初始化对多模态分布进行采样的基础分数的好处
通过使用基于得分函数的方法,研究了生成建模中的多模态分布的问题,特别是使用纯粹的得分法来采样多模态分布的自然性。
- 利用扩散概率模型表示策略的强化学习
本文利用扩散概率模型提出了一种新的随机策略表示方法,并证明了它对于多模态分布的优越性,进而应用到无模型在线强化学习中,提出 DIPO 算法,在标准连续控制 Mujoco 基准中取得了显著优势。
- 推进式生成模型能够拟合多模态分布吗?
通过研究生成模型中的推进模型,发现模型的 Lipschitz 常数必须很大才能拟合多模态分布,而稳定性与能力之间存在可证明的权衡关系。同时,基于可证的发现,在一维和图像数据集上验证了模型的稳定性,并证明了堆叠网络和扩散模型的生成模型不会饱经 - 高斯化流
本文通过迭代高斯化的过程,提出了一种名为 “高斯化流” 的正态流模型,能够进行高效的似然计算和样本生成,而且具有良好的表达能力,能够捕捉多峰分布,且相较于其他流模型有更好的鲁棒性和泛化能力。
- 自适应 MCMC 框架针对多峰分布的目标
提出了一种基于蒙特卡罗方法的采样技术,使用辅助变量设计了自适应方案来实现多模态分布下的本地移动和跳跃移动,并证明了算法的遍历性。
- ICML随机梯度单项式 Gamma 采样器
本文提出了利用 Hamiltonian Monte Carlo 方法的广义运动函数来改进随机梯度马尔可夫蒙特卡罗采样的效率,并讨论了克服这种泛化所引入的实际问题的技术。实验证明,该方法在探索复杂的多峰后验分布方面表现优秀。
- 条件对抗领域自适应
该研究提出了条件对抗域适应的方法,通过两种新的调节策略,Multilinear 调节和 Entropy 调节,实现对不同领域的分类问题的对抗对齐,超过了五个数据集上的最新成果。
- 一种针对多模态的排斥 - 吸引 Metropolis 算法
本文提出了一种名为 RAM 算法的 Metropolis-Hastings 算法,它具有维持简单实现的 Metropolis 算法的特性,但更容易在多峰分布中跳跃。该算法利用在密度下降时使局部模式斥力并在密度上升时使局部模式吸引的提议,从而 - 虫洞哈密顿蒙特卡罗
本文提出了一种基于马尔科夫蒙特卡罗的贝叶斯推理方法,该方法可有效从多峰分布中采样,尤其适用于高维度问题和孤立模式的情况,并利用残留能量函数来探索新的模式。
- MM多模态嵌套采样:天文数据分析中高效、稳健的 MCMC 方法替代方案
本文介绍了三种新的方法用于从多峰分布以及存在显著退化的分布中进行抽样和证据评估,以及一种更高效的评估证据不确定性的技术,并将其应用于天文数据中进行贝叶斯目标检测,展示了证据计算和参数估计的准确性和经济性。