ICMLMay, 2021

SG-PALM: 一种快速可解释的张量图模型

PDF
TL;DR提出一个名为 SG-PALM 的新的图形模型推理过程，用于学习高维张量变量数据的条件依赖结构，其具有可解释性和计算可扩展性；通过对恒河岸生成模型的基础进行建模，使其具有物理可解释性；通过快速的近端交替线性化最小化（PALM）过程，保证其可扩展性。在针对一种挑战性问题（多模式成像数据的时空预测太阳耀斑）中，证明了 SG-PALM 的可扩展性和准确性。
graphical modeltensor-variate datasg-palmconditional dependency structureclimate prediction
发现论文，激发创造
  • 基于 PALM 的稀疏半盲源分离算法

    本研究提出 Learned PALM 算法，通过算法展开 / 展开来解决常规稀疏盲源分离算法的超参数选择困难的问题，并能够处理变量混合矩阵，从而实现半盲源分离。在黑洞成像等领域中，这种算法比 PALM 算法拥有更高的分离质量和更少的迭代次数，并优于其他半盲源分离方法。

    Dec, 2021

  • 通过多项式实现可扩展的可解释性

    提出了一种新的分类 GAMs 的方法，称为 Scalable Polynomial Additive Models (SPAM)，通过多项式的张量秩分解来实现高阶特征交互，同时保证模型的可解释性和易扩展性，大幅度地优于现有的可解释方案，并在真实世界的各种基准测试中表现出与 DNN / XGBoost 相当的性能。

    May, 2022

  • 基于相关数据的学习稀疏高维矩阵值图模型

    推断稀疏、高维、稳定矩阵变量高斯时间序列的条件独立图 (CIG) 问题，采用基于稀疏组套索的频域公式，并通过交替方向乘法器方法 (ADMM) 求解，结果为局部收敛到真实值的 Frobenius 范数的逼近。

    Apr, 2024

  • SigGPDE：在序列数据上扩展稀疏高斯过程

    本文我们提出了 SigGPDE，它是一个新的可扩展的稀疏变分推理框架，用于处理序列数据上的高斯过程。我们的贡献有两个方面：首先，我们构造了诱导变量来支撑稀疏近似，使得得到的证据下限 ELBO 不需要任何矩阵求逆；其次，我们展示了 GP 签名核的梯度是一个双曲型偏微分方程（PDE）的解，这一理论洞见使我们能够构建一个有效的反向传播算法来优化 ELBO。通过展示 SigGPDE 相对于现有方法的显着计算收益，同时在多达 1 百万个多元时间序列的大型数据集上实现最先进的分类任务性能。

    May, 2021

  • SAMSGL：面向时空预测的系列对齐多尺度图学习

    通过在具有时间延迟的空间交互中引入一种序列对齐的图卷积层以减轻时间延迟对准确性的影响，并通过多尺度图学习来理解全局和局部的时空交互，我们提出了一种 Series-Aligned Multi-Scale Graph Learning（SAMSGL）框架，用于提高预测性能。对于 meteorological 和 traffic forecasting 数据集上的实验表明该框架的有效性和优越性。

    Dec, 2023

  • 学习用于概率语义地图的图结构求和 - 乘积网络

    介绍了一种名为图结构和积网络的概率方法，可用于机器人领域的结构预测问题，演示了该方法如何通过处理机器人在大规模办公空间中的嘈杂拓扑关系来提高关于语义概念描述的推断，并显示 GraphSPNs 始终优于传统基于无向图模型的方法。

    Sep, 2017

  • PALM: 为上下文有条件生成训练自编码和自回归语言模型的预训练

    本文提出了一种新颖的方法 PALM，用于在大规模无标签语料库上联合预训练自编码和自回归语言模型，特别为给定上下文生成新文本设计，实验证明该方法在各种语言生成基准测试中均取得了新的最优结果。

    Apr, 2020

  • APALM 拍手声：随机异步 PALM 加速非光滑非凸优化

    介绍了一种新的非凸非光滑优化问题的块坐标随机梯度下降优化方法：Stochastic Asynchronous Proximal Alternating Linearized Minimization (SAPALM)，该方法在大类别的问题上是第一个能够得到收敛收敛保证的异步并行优化方法，并证明了在这个问题类别中，SAPALM 在最优异步方法或同步方法中具有相同的收敛速度，而在实践中，SAPALM 在多个矩阵分解问题上都展现出最先进的性能。

    Jun, 2016

  • 时空序列中的稀疏图学习

    本文提出了一种基于分数的概率方法，学习图的关系依赖性。该方法可用于时间序列预测，可在最大化任务性能的同时控制图的稀疏性和计算可扩展性，同时提高了准确性。

    May, 2022

  • 利用图引出的和 - 积网络进行易处理的概率图表征学习

    本文介绍了一种名为图感知积 - 和网络 (Graph-Induced Sum-Product Networks, GSPN) 的新的概率图形学习框架，它可以有迹可循地回答概率性问题。本模型与传统的神经网络模型的计算图有异曲同工之妙，因此在深度图网络方面具有优越性，同时具有一种纯概率模型的额外优势。通过定量实验和定性分析，证明了此模型在应对缺乏监督数据、处理缺失数据和图像分类等方面的竞争优势。

    May, 2023