energy-based models | BriefGPT

关键词energy-based models

搜索结果 - 88

探索基于能量模型的方言识别的非分布检测
本研究介绍了一种针对方言的新型边界增强联合能量模型（MEJEM），用于方言中的 OOD 检测。通过集成生成模型和能量边界损失，我们的方法旨在增强方言识别系统的鲁棒性。此外，我们探索了两种 OOD 得分的方言检测方法，研究结果明确表明能量得分
PDF8 days ago
基于能量的模型指南：与其他生成模型、采样和统计物理之间的全面评述
能量模型（EBMs）已成为生成模型领域中一个强大的框架，通过与统计力学的原理密切契合，提供了独特的视角。本综述旨在为物理学家提供对 EBMs 的全面理解，揭示它们与其他生成模型（如 GAN、VAEs 和正规化流）的联系。我们探讨了对 EBM
PDF15 days ago
ICML基于条件残差能量模型的分子合成偏好优化
通过条件残差能量模型，提出了一种通用的、以质量为导向的分子合成路线生成框架，该框架可以增强各种策略生成的最可能合成路线的质量并在性能上优于先前的最先进方法 2.5%。
PDFa month ago
PureGen: 通用数据净化方法 —— 基于生成模型动态的训练时毒素防御
利用随机变换介绍的普遍数据净化方法，通过迭代 Langevin 动力学算法行为模型（EBMs）、去噪扩散概率模型（DDPMs）或两者的能量波动来净化被污染的数据，最小化对分类器泛化性能的影响，并在 CIFAR-10、Tiny-ImageNe
PDFa month ago
基于能源的模型在语音和语言处理中的应用
能量模型（EBM）是一种重要的概率模型，也被称为随机场和无向图模型。EBM 是非标准化的，与其他流行的自标准化概率模型（如隐马尔可夫模型（HMMs）、自回归模型、生成对抗网络（GANs）和变分自动编码器（VAEs））截然不同。近年来，由于在
PDF4 months ago
特征空间中的能量校正模型用于异常数据检测
该论文通过使用预训练深度分类器的特征空间研究了离群分布（OOD）检测问题，发现使用基于能量模型（EBM）学习内部分布特征的密度可以获得有竞争力的检测结果，并通过能量校正与类条件高斯分布的混合来解决 MCMC 采样非混合化的问题，相较于 CI
PDF4 months ago
均场微正则梯度下降
微正则梯度下降是一种用于高维分布高效采样的能量模型采样过程，通过使用梯度下降从高熵分布（如高斯白噪声）将样本传输到低能量区域。我们将这个模型放置在归一化流框架中，展示它常常通过在下降过程中损失了不必要的熵而过拟合。为了解决这个问题，我们提出
PDF4 months ago
利用混合专家的课程强化学习获取多样化技能
强化学习中的多样技能学习，使用混合专家方法和最大熵目标优化每个专家的上下文分布，以激励在相似情境中学习多样技能。利用基于能量的模型来表示每个专家的上下文分布，通过标准策略梯度目标有效地训练它们，进一步解决了环境未知上下文概率空间中的难以处理
PDF4 months ago
通过扩散过程改进敌对能量模型
通过将能量式模型（EBMs）嵌入到去噪步骤中，将长时间生成的过程分解为几个较小步骤，采用对称的 Jeffrey 散度和引入变分后验分布进行生成器的训练，以解决对抗性 EBMs 存在的主要挑战，实验证明与现有的对抗性 EBMs 相比，在生成方
PDF4 months ago
关联记忆与概率建模的桥梁
通过观察到关联记忆的能量函数可以被看作是概率建模的负对数似然函数，我们建立了一个桥梁，使得这两者之间的有益思想可以互相流动。在这项工作中，我们提出了基于能量的模型以适应新的上下文数据集，提出了两种新的关联记忆模型，通过关联记忆的工具，我们系
PDF5 months ago
基于平衡传播训练的能量模型的鲁棒性如何？
通过对 CIFAR-10 和 CIFAR-100 数据集的实验，我们的工作首次探索了 EBMs 对自然损坏和对抗攻击的稳健性，结果表明 EBMs 在白盒攻击、黑盒攻击和自然扰动方面的稳健性与经过对抗训练的 DNNs 相当，而无需牺牲清晰度准
PDF5 months ago
通过低维后验投影进行不确定性可视化
通过在低维子空间上使用能量模型（EBMs）对后验进行估计和可视化，我们介绍了一种用于在不透明的逆问题中获得可能解的全谱派生物的新方法，该方法在不确定性量化和可视化方面表现出更高的效率和准确性。
PDF7 months ago
通过对抗训练学习全局优化的语言结构
提出了一种针对文本的对抗训练策略，通过扰动自回归模型生成的文本来生成负样本，并证明该策略可以显著提高离散能量基模型的生成质量。
PDF8 months ago
基于能量的校准变分自编码器及其无测试时间消耗特性
本文提出了一种新颖的能量校准生成模型，该模型利用条件 EBM 来增强变分自动编码器（VAEs）的性能，针对 VAEs 在生成方向上训练不足而导致生成结果模糊的问题，以及 EBMs 需要昂贵的马尔可夫链蒙特卡罗（MCMC）采样的问题，我们引入
PDF8 months ago
通过能量模型优化点云的隐式神经表示
使用基于能量的模型优化隐式神经表示的三维点云连续曲面重建，进一步确认该方法在噪声点云下更加鲁棒。
PDF8 months ago
基于能量的异常检测模型：一种流形扩散恢复方法
提出了一种新的基于能量模型 (EBM) 的异常检测方法，利用数据中的低维结构。该算法首先沿着近似训练数据集的低维流形扰动数据点，然后训练 EBM 最大化恢复原始数据的概率。通过从靠近流形的不同分布生成负样本，转化为近似流形的负样本高度信息丰
PDF8 months ago
基于能量的语音合成模型
这篇论文描述了如何使用基于能量的模型（EBMs）通过噪声对比估计训练，并通过 Langevin Markov Chain Monte-Carlo（MCMC）进行采样，从而扩展了非自回归模型在语音合成中的应用。在 LJSpeech 数据集上的
PDF8 months ago
能量引导的连续熵质心估计通用成本
提出了一种新的算法，用于近似连续熵正交传输（EOT）重心，该方法建立在弱正交传输的基础上，具有优越性能，并与基于能量的模型（EBMs）学习流程无缝连接，为验证，考虑了几个低维场景和图像空间设置，包括非欧几里得成本函数，并探讨了在经过预训练的
PDF9 months ago
寻找分散的记忆：生成扩散模型是联想记忆网络
这项研究将能量模型和 Hopfield 网络的理论神经科学相结合，表明可以将离散模式的生成扩散模型训练解释为将 Hopfield 网络的关联动态编码到深度神经网络的权重结构中，实验证明连续 Hopfield 网络的存储容量与扩散模型的容量相
PDF9 months ago
直观视角下的记忆：扩散模型与联想记忆之间的奇妙相似
通过从动力系统和常微分方程的角度提供对扩散模型（DMs）的简明概述，揭示了高度相关但经常被忽视的能量驱动模型（AMs）概念的数学联系，并总结了 40 年来 AMs 的历史，讨论了 AMs 和 DMs 的相似性和差异性揭示的新的研究方向。
PDF9 months ago