- 基于能量模型的最大熵逆强化学习中的扩散模型
我们提出了一种最大熵反向强化学习 (IRL) 方法,用于改善扩散生成模型的样本质量,尤其是在生成时间步骤较少的情况下。通过训练或微调扩散模型,我们使用从训练数据估计的对数概率密度来训练(或微调)扩散模型。我们采用基于能量的模型 (EBM) - 基于能量的图神经网络的认知不确定性
在具有相互依赖数据的领域中,如图形数据,量化图神经网络 (GNN) 的认知不确定性是具有挑战性的,因为不确定性可以在不同的结构尺度上产生。我们提出了 GEBM,一种能量模型(EBM),通过聚合来自图扩散引起的不同结构级别上的能量,提供高质量 - 潜在能量驱动之旅:通过在能量基潜空间中扩展探索的黑盒优化
离线黑盒优化目标是通过预先采集的函数值和相关输入设计的离线数据集的知识来优化黑盒函数。我们提出了一种可学习的能量驱动潜空间模型,以及一种基于噪声增强的望远镜密度比估计方案,用于变分学习准确的潜空间模型。通过所学的能量驱动模型在潜空间中的梯度 - ICLRS$^2$AC:基于能量的 Stein Soft Actor Critic 强化学习
学习表达性随机策略而不是确定性策略已经被提出,以实现更好的稳定性、采样复杂度和鲁棒性。我们提出了 Stein Soft Actor-Critic (S^2AC),这是一种能够高效学习表达性策略的最大熵强化学习算法,通过使用参数化的 Stei - 无序点集上混合生成判别式的 PointNet
该研究提出了 GDPNet,这是第一个综合生成和判别的 PointNet 模型,扩展了 JEM 用于点云分类和生成,既保留了现代 PointNet 分类器的强大判别能力,又生成了与最先进的生成方法相媲美的点云样本。
- 基于能量模型的经过校准的置信度伪标签学习
基于能量模型 (EBM) 的基于能量的半监督伪标签算法 (EBPL) 在网络训练期间通过共享特征提取部分来学习类别决策边界和输入数据分布,从而提高可信度校准,在半监督图像分类任务中优于现有的伪标签方法,具有更好的可信度校准误差和识别准确率。
- 从能量模型的潜空间中生成新的桥梁类型的尝试
利用能量模型进行桥梁创新,通过博弈论解释损失函数,使用 Langevin 动力学技术生成基于能量的桥梁样本,从而建立一个生成模型,但由于训练不稳定和速度缓慢,生成新的桥梁类型的可能性很低,生成图像的清晰度也较低。
- 广义对比散度:借助逆强化学习的能量模型和扩散模型的联合训练
我们提出了广义对比散度(GCD),这是一种同时训练能量模型(EBM)和采样器的新型客观函数。GCD 通过用可训练的采样器(如扩散模型)取代马尔可夫链蒙特卡罗(MCMC)分布,将对比散度(Hinton, 2002)这种训练 EBM 的著名算法 - 通过双 MCMC 教学学习基于能量的模型
本文研究了基于能量的模型(EBM)的基本学习问题,通过最大似然估计(MLE)和生成模型的联合训练来提高 EBM 的学习效果。
- 面向多领域图像转换的增量能量协作学习
本文研究了一种新型一种基于能量的协作学习框架,用于多领域图像到图像的转换。该框架由描述符、翻译器、样式编码器和样式生成器四个组成部分组成,能够实现一个到多个的转换。该框架通过多领域 MCMC 教学共同训练多领域的描述符和多样化的图像生成器。
- 文本到图像扩散模型中的贝叶斯上下文更新能量交叉注意力
本文提出了基于能量的模型框架,该框架可应用于图像生成任务中对文本提示的意义内容进行相应的处理。经过充分实验表明,该方法在处理多概念生成、文本引导的图像修补以及实际和人造图像编辑等各种图像生成任务方面非常有效。
- 多层生成器学习联合潜空间 EBM 先验模型
本文提出了一种基于能量的模型 (EBM) 方法,通过在所有层的潜在变量上建立联合潜在空间 EBM 先验模型,以层内能量项捕捉每一层的内部上下文关系,跨不同层的潜在变量则通过联合校正。并提出联合训练方案 (最大似然估计 MLE 和基于推理模型 - 通过潜空间能量建模与逐步分布转移的分子设计
本文提出了一种生成模型,基于能量模型(EBM)和分子生成模型、性质回归模型生成具有期望化学和生物性质的体小分子,并引入了逐步分布转移采样算法(SGDS),从而在训练的分子数据和性质的基础上,逐步将模型分布转移到具有期望性质的分子区域,取得了 - ICLR离散行走 - 跳跃采样对蛋白质探索的应用
研究通过学习平滑能量函数、使用 Langevin Markov chain Monte Carlo 对平滑数据流形进行采样并通过一步去噪投影回真实数据流形的方法来解决离散生成模型的训练和采样困难,并引入分布符合度分数对蛋白质生成模型进行了评 - 能量模型中特征多样性
本文研究能量学习及能量模型,重点关注特征集的多样性和冗余性的影响,利用 PAC 理论推导出各种上下文中的泛化界限,并表明减少特征集的冗余性可以提高模型的性能。
- ICLR通过对比潜变量引导基于能量的模型
本文提出了一种基于对比学习的框架,通过引入对比潜变量来改进能量基模型的训练,设计一种新类的潜变量 EBMs 实现数据联合密度估计和对比潜变量的联合训练,实验结果表明该方案比现有的 EBM 方法(如变分自动编码器或扩散技术)具有更低的 FID - 从行为到事件:利用改进的深度置信网络的迁移学习方法
本文提出了一种基于 Spectral Deep Belief Network 的能量模型来解决视频分析中深度学习和数据量大的问题,该模型可以同时处理所有帧,将空间和时间信息传递到学习过程中,实验结果表明该模型具有较高的效率和降低的计算负担。
- EMNLP能量排名提升抽象化摘要
本文提出了一种基于能量的模型,利用自动评估指标和重排机制对生成的摘要进行排序,以解决当前抽象摘要系统存在的问题。我们的实验结果表明,这种方式可以提高生成摘要的得分,但对高度抽象的摘要的应用要小心,因为现有的指标还不足够可靠。
- 能量模型在带标签伪标签约束下的自训练无监督领域自适应
通过在无标签目标样本的训练中引入能量函数最小化目标的约束,该论文提出改进的深度自训练框架,以提高无监督域适应的性能,并在大规模图像分类和语义分割任物上进行了广泛的实验。
- ACL混合搭配:能量语言模型控制的无需学习文本生成
本文提出了一种名为 Mix and Match LM 的生成模型框架,该框架使用全局评分的方式结合预训练模型来实现生成文本的可控性,同时采用 Metropolis-Hastings 采样算法进行采样,取得了在多项测试领域中优于其他最新方法的