- 关于用于分摊推断的扩散模型:基准测试和改进的随机控制和采样
训练扩散模型以从具有给定未归一化密度或能量函数的分布中进行采样问题的研究,对于模拟为基础的变分方法和连续生成流网络等离散结构的推理方法进行基准测试,结果揭示了现有算法的相对优势,并对过去的研究提出了质疑。我们还提出了一种新颖的基于局部搜索和 - MuseGNN:可解释且收敛的大规模图神经网络层
对于使用激活函数迭代降低能量函数的图神经网络 (GNN) 模型中的数据建模处理,本研究提出了一种基于采样的能量函数和可扩展的 GNN 层,以克服模型深度带来的挑战,并在最大的公开节点分类基准测试超过 1TB 大小的情况下,实现了较高的准确性 - 无需训练仍可受益。运用能量函数引导的蒙特卡罗树搜索释放大语言模型的数学推理能力
通过使用蒙特卡洛树搜索和轻能量函数,我们对经过微调的大型语言模型进行了改进,提高了数学推理的正确性和步骤,从而在不需要进一步微调或 RLHF 对齐的情况下,将经过微调的模型的一次通过率显著提高。
- 无需数据学习简化运动学
本研究旨在自动识别高维物理系统中低能量状态下的低维子空间,通过使用神经网络来将低维潜在向量映射到完整的配置空间,并提出了对于任意系统兴趣的训练方案,为非线性、弹性体、布料子空间以及碰撞刚性体和连杆等更一般的系统都提供了有效的解决方案,可以用 - ICML离线强化学习中的对比能量预测在精确能量引导扩散采样中的应用
本文提出了一个名为 CEP 的全新训练目标,并给出了精确公式来解决中间指导量未知的问题。在离线强化学习方面的应用中,D4RL 基准测试的结果表明,该方法优于现有的最先进算法。
- ICLR基于能量的图神经网络异常检测
针对图形数据的 OOD 检测问题,本论文提出了一种基于图神经网络的能量函数的有效 OOD 鉴别器,命名为 GNNSafe,并在模拟和真实数据集上的评估中证明了它的性能优于现有技术。
- ICLRDIFFormer: 由能量受限传播引发的可扩展(图)变压器
本文介绍了一种能量受限扩散模型,用于跨数据集批次地学习实例表示,通过相互作用逐渐并入其他实例的信息,以找到几何结构。研究结果表明,该模型可作为一种通用的编码器,在节点分类、图像 / 文本分类、时空动态预测等各种任务中表现出优越性能。
- ICCV探究对抗鲁棒分类器的生成能力
研究了对抗训练在能量函数方面的作用,发现其对生成能力的关键在于能够形成一种平坦的、在真实数据周围能量较低的能量函数。在此基础上,提出了一种新的对抗训练方法 JEAT,可以生成高质量图像并在各种攻击状态下取得最新的鲁棒性。
- ECCV基于目标的图像拼接
本文针对图像拼接过程中目标被裁剪、遗漏或复制而导致的错误进行研究,提出一种基于目标检测的算法来解决这个问题,并将其用于修改拼接过程中的能量函数,从而获得更加逼真和鲁棒的拼接结果。同时,该方法还可以用于检测输入数据中不可恢复的遮挡,并提出了一 - Your GAN 是悄悄变成了能量基模型,你应该使用判别器驱动的隐变量采样
本文提出了一种 Discriminator Driven Latent Sampling(DDLS)方法,使用 GAN 的隐含生成器 log 密度和鉴别器的 logit 分数定义一个能量函数,在生成器达到最优前,该函数表示最优真实数据密度。 - ICLR基于能量的迭代投影在正常数据流形上用于异常定位
本文提出了一种新的方法,通过使用梯度下降法来将异常数据映射到自编码器学习的正常数据流形上,以解决自编码器重建在本地缺陷存在时的分割问题,并通过正则化项在能量函数中引入先验知识来优化投影结果,该方法比传统重建方法在多个异常检测数据集上均取得了 - 诊断和优化 VAE 模型
本研究针对变分自编码器(VAEs)的效率和各种假设,提出了新的 VAE 增强方案,该方案不需要任何超参数或敏感调整,并且与多种 GAN 模型竞争时,能产生清晰的样本和稳定的 FID 分数。
- 基于 Seam Carving 和 Parental Labeling 的快速视频重定向
提出一种基于 seam carving 的新型视频重定向算法,通过动态时空缓冲区的能量图和标准差运算符,去除具有较低能量变化的区域,同时采用一种改进的能量函数来考虑运动信息,对现有的视频重定向方法进行比较。实现了 93% 的处理时间降低和更 - AAAIMono3D++:具有两种尺度三维假设和任务先验的单目三维车辆检测
本文提出了一种从单张图像中推断车辆 3D 姿态和形状的方法,采用可塑性线框模型生成车辆形状和姿态的精细尺度表示,并结合三个任务先验,包括无监督单目深度、地平面约束以及车辆形状先验,通过将前向投影误差整合到总能量函数中优化两级投影一致性来解决 - 通过修正振幅异质性破坏模拟自旋系统中的局部极小值
通过加入纠错信号并控制振幅不均匀的模拟自旋状态的速度发散,可以破坏对应于二进制自旋哈密顿的局部极小值的模拟状态的困扰集,进而找到更低的能量状态。提出的模拟自旋系统在查找更低能量态方面的表现与现有启发式算法不相上下。
- 解绑自编码器的保守性
讨论自编码器定义保守向量场的必要和充分条件,条件与编码器和解码器权重相同有关,受到隐藏单元激活函数的形式的影响,但是压缩训练准则,如去噪,将在局部强制执行这些条件,基于这些观察结果,说明如何使用自编码器提取向量场的保守分量。
- 在高维线性系统中交替极小能量方法。第二部分:更快的算法和非对称系统的应用
本文提出了一种快速的基于张量结构的对称正定线性系统求解方法,该方法采用能量函数交替最小化与基函数扩展步骤并结合最陡下降算法,进而实现了全局收敛和高效率求解。
- 关于 $p$- 进分类
本文提出了一种 $p$-adic 修改的 split-LBG 分类方法,首先计算聚类,然后计算局部最小化能量函数的聚类中心,对于固定数据集的结果与有限个例外无关的素数 $p$。该方法应用于学习背景下 $p$-adic 分类器的构建。
- ICML半监督学习 -- 一种统计物理学方法
本文提出了一种基于统计物理学的半监督学习方法,采用多重正则化马尔可夫链蒙特卡罗算法进行采样,估计分类分布而非唯一的最小 k-way 切割,进而实现对点的软指派和未知分类的应对,实验采用一组玩具数据集和两组基因表达的实际数据集进行验证。