基于能量引导的熵正则神经最优输运
学习度量到度量映射是机器学习中的一项关键任务,而神经最优输运方法(Neural OT)结合了神经网络模型和最优输运理论,将最优输运作为归纳偏置,并通过实验表明其在单细胞生物学中具有实用性。
Oct, 2023
提出了一种新的算法,用于近似连续熵正交传输(EOT)重心,该方法建立在弱正交传输的基础上,具有优越性能,并与基于能量的模型(EBMs)学习流程无缝连接,为验证,考虑了几个低维场景和图像空间设置,包括非欧几里得成本函数,并探讨了在经过预训练的生成模型生成的图像流形上学习重心的实际任务,为实际应用开辟了新的方向。
Oct, 2023
提出了一种名为 ProgOT 的新类 EOT 求解器,它能够估计计划和传输映射,通过使用时间离散化分割质量位移、从动态 OT 公式获得启示并利用适当安排的参数使用 EOT 来征服这些步骤,我们提供了实验证据表明,在计算大规模耦合时,ProgOT 是快速且更可靠的替代标准求解器,甚至优于基于神经网络的方法,并且还证明了我们的方法在估计最优传输映射时具有统计一致性。
Jun, 2024
通过最优传输理论,提出一种新的神经主题模型来更好地实现文档表示和一致 / 多样化的主题,特别地,通过最小化文档的 OT 距离来学习文档的主题分布,实验证明该模型在常规和短文本的文本分析中表现显著优于现有的神经主题模型。
Aug, 2020
能量模型(EBM)是一种重要的概率模型,也被称为随机场和无向图模型。EBM 是非标准化的,与其他流行的自标准化概率模型(如隐马尔可夫模型(HMMs)、自回归模型、生成对抗网络(GANs)和变分自动编码器(VAEs))截然不同。近年来,由于在理论和算法方面取得了重大进展,EBM 不仅受到核心机器学习领域的越来越多的关注,而且还受到了语音、视觉、自然语言处理(NLP)等应用领域的关注。语音和语言的序列性质也带来了特殊的挑战,并需要与处理固定维度数据(如图像)有所不同的处理方法。因此,本文的目的是系统介绍能量基模型,包括算法进展和在语音和语言处理中的应用。首先,介绍了 EBM 的基础知识,包括经典模型、最近由神经网络参数化的模型、采样方法以及从经典学习算法到最先进算法的各种学习方法。然后,介绍了 EBM 在三种不同场景下的应用,即建模边际、条件和联合分布。1)用于语言建模的序列数据的 EBM 应用,其中主要关注的是序列本身的边际分布;2)用于建模给定观测序列条件分布的 EBM,在语音识别、序列标注和文本生成方面有应用;3)用于建模观测序列和目标序列的联合分布的 EBM 及其在半监督学习和校准自然语言理解方面的应用。
Mar, 2024
本研究聚焦于将能量模型(EBM)作为动作优化的指导先验进行集成的问题,并研究了在学习 EBMs 时包括额外的正则化器的益处以及多种情况下 EBM 能够集成到运动优化中的表现及性能评估。
Apr, 2022
能量模型(EBMs)已成为生成模型领域中一个强大的框架,通过与统计力学的原理密切契合,提供了独特的视角。本综述旨在为物理学家提供对 EBMs 的全面理解,揭示它们与其他生成模型(如 GAN、VAEs 和正规化流)的联系。我们探讨了对 EBMs 至关重要的采样技术,包括 Markov Chain Monte Carlo(MCMC)方法,并将 EBM 概念与统计力学进行了对比,强调了能量函数和配分函数的重要性。此外,我们深入研究了 EBMs 的最新训练方法,涵盖了最近的进展及其对提高模型性能和效率的影响。本综述旨在阐明这些模型之间通常复杂的相互关系,这可能是因为从事该领域研究的各个学术界群体差异较大所导致的挑战。
Jun, 2024
该研究提出了一种新的方法来创造一对概率分布,以测试现有的神经 EOT / SB 求解器在高维空间中图像的 EOT 解决方案,通过该连续基准分布,已知其 EOT 和 SB 解决方案。
Jun, 2023
本文以优化传输问题为基础,研究了无监督生成建模,并使用惩罚最优传输(POT)目标来有效地最小化该问题。作者发现,AAE 中的目标与 POT for the 2-Wasserstein distance 相同,并与其他流行技术如 VAE 进行了比较。作者的理论结果包括更好地理解 VAEs 生成图像的模糊度以及建立 Wasserstein GAN 和 POT for the 1-Wasserstein distance 之间的对偶关系。
May, 2017