Jun, 2024

基于能量的图神经网络的认知不确定性

PDF
TL;DR在具有相互依赖数据的领域中，如图形数据，量化图神经网络 (GNN) 的认知不确定性是具有挑战性的，因为不确定性可以在不同的结构尺度上产生。我们提出了 GEBM，一种能量模型（EBM），通过聚合来自图扩散引起的不同结构级别上的能量，提供高质量的不确定性估计。与基于逻辑的 EBM 不同，我们通过正则化能量函数来在数据空间中引入可积密度。我们引入了我们的 EBM 的证据解释，极大地提高了 GNN 的预测鲁棒性。我们的框架是一个简单有效的事后方法，适用于任何对各种分布转移敏感的预训练 GNN。在 7 种异常类型中，我们在 6 种上实现了最佳的内部分布和外部分布数据分离，并在所有数据集上具有最佳的平均排名。
graph neural networkepistemic uncertaintyenergy-based modelgraph diffusionpredictive robustness
发现论文，激发创造
  • 广义能量基模型

    本文介绍了广义能量模型（GEBM）的产生式建模方法，指出了其在图像生成任务和密度建模任务中的应用和比 GANS 更好的性能表现。

    Mar, 2020

  • 非生成能量模型

    本文提出 Non-Generative EBM 方法作为一种有效的训练方法，可以在保持 EBM 中关键的稳定性和性能的同时，降低计算复杂度和开销。该方法能够大幅提高 CIFAR10 和 CIFAR100 数据集的预期校准误差。

    Apr, 2023

  • 基于能源的模型在语音和语言处理中的应用

    能量模型（EBM）是一种重要的概率模型，也被称为随机场和无向图模型。EBM 是非标准化的，与其他流行的自标准化概率模型（如隐马尔可夫模型（HMMs）、自回归模型、生成对抗网络（GANs）和变分自动编码器（VAEs））截然不同。近年来，由于在理论和算法方面取得了重大进展，EBM 不仅受到核心机器学习领域的越来越多的关注，而且还受到了语音、视觉、自然语言处理（NLP）等应用领域的关注。语音和语言的序列性质也带来了特殊的挑战，并需要与处理固定维度数据（如图像）有所不同的处理方法。因此，本文的目的是系统介绍能量基模型，包括算法进展和在语音和语言处理中的应用。首先，介绍了 EBM 的基础知识，包括经典模型、最近由神经网络参数化的模型、采样方法以及从经典学习算法到最先进算法的各种学习方法。然后，介绍了 EBM 在三种不同场景下的应用，即建模边际、条件和联合分布。1）用于语言建模的序列数据的 EBM 应用，其中主要关注的是序列本身的边际分布；2）用于建模给定观测序列条件分布的 EBM，在语音识别、序列标注和文本生成方面有应用；3）用于建模观测序列和目标序列的联合分布的 EBM 及其在半监督学习和校准自然语言理解方面的应用。

    Mar, 2024

  • 能量基模型中的隐式生成和泛化

    本文介绍了一些在连续神经网络上训练 MCMC 的能量基础模型的技术，在许多高维度数据域上，如 ImageNet 和 CIFAR-10, 它们的样本表现优于其他可能性模型，并接近当代生成对抗网络 GAN 的表现，同时覆盖所有数据模态。此外，作者还阐述了基于 EBM 的独特能力，如组合性和损坏图像的重建和修复，最后证明 EBMs 模型是跨多种任务有用的模型，进而实现了最先进的超出分布分类、对抗性稳健分类、在线连续类学习和连续长期预测轨迹

    Mar, 2019

  • 具有校准的 Aleatoric 和 Epistemic 不确定性的图神经网络原子间势能集合在能量和力上的应用

    通过训练和重新校准图神经网络集合模型，预测能量和力量可以生成准确的预测和校准的不确定性估计，这是首个在机器学习神经网络中考虑了获得能量和力量上的校准的认知和偶然性不确定性预测的完整框架。

    May, 2023

  • 四面八方的界限：使用双向界限训练能量模型

    本文提出了一种双向边界的 Energy-based model 对数似然的优化方法，并且使用 Jacobi-determinant 的新估计器来评估这种边界，从而提高密度估计和样本生成的质量。

    Nov, 2021

  • 学习运动优化的隐式先验

    本研究聚焦于将能量模型（EBM）作为动作优化的指导先验进行集成的问题，并研究了在学习 EBMs 时包括额外的正则化器的益处以及多种情况下 EBM 能够集成到运动优化中的表现及性能评估。

    Apr, 2022

  • 基于能量观点的图神经网络

    本文针对图结构数据的分类问题，提出了一种基于能量的图神经网络模型，并成功实现了该模型，通过实验发现它在鲁棒性方面比标准的图卷积网络有明显提升，为未来基于能量的图神经网络研究开辟了新的方向。

    Apr, 2021

  • 基于能量引导的熵正则神经最优输运

    该研究桥接了 EBMs 和熵正则化 OT 之间的差距，并提出了新的方法，可在玩具 2D 场景和标准无配对图像到图像转换问题上应用。

    Apr, 2023

  • 基于能量的神经符号推理知识图谱模型

    本研究提出了一种基于能量的图嵌入算法来描述工业自动化系统，学习多个领域的知识，从而可以进行上下文感知预测和评估异常严重性，该模型可以应用于机器学习和神经形态计算等领域。

    Oct, 2021