Laplacian 正则化分层模型中的联合图学习和模型拟合

May, 2023

Laplacian 正则化分层模型中的联合图学习和模型拟合

Joint Graph Learning and Model Fitting in Laplacian Regularized Stratified Models

Ziheng Cheng, Junzi Zhang, Akshay Agrawal, Stephen Boyd

TL;DR本文讨论了 Laplacian regularized stratified models (LRSM) 的图权重敏感性问题，并提出了一种通用的学习图权重和模型参数的解决方案。我们从图连通性和贝叶斯视角解释了所提出的公式，并提出了一种有效的算法来解决问题。我们还提供了所提出的优化算法的收敛保证，最后我们通过各种现实世界的数值例子证明了我们的方法相对于现有方法的效率。

Abstract

laplacian regularized stratified models (LRSM) are models that utilize the explicit or implicit network structure of the sub-problems as defined by the categorical features called strata (e.g., age, region, time, forecast horizon, etc.), and draw upon data from neighboring strata to en

laplacian regularized stratified models parameter learning graph weights optimization algorithm laplacian regularization term

发现论文，激发创造

半监督学习的适当加权图拉普拉斯算子

本文介绍了一种针对大数据量下半监督学习中图拉普拉斯方法性能下降问题的解决方案，通过正确设置拉普拉斯正则化的权重使得估计器在大样本情况下保持良好状态，并证明了其收敛性，最终实现连续达到标记值的问题平滑解，且方法实现快捷简便。

Oct, 2018

基于语义知识的多变量时间序列预测的规则化图结构学习

本文提出了一种正则化图结构学习模型 (RGSL)，通过节点嵌入推导出隐式的密集相似矩阵，利用 Gumbel Softmax 技巧学习稀疏的图结构，然后使用 Laplacian Matrix Mixed-up Module (LM3) 将显式与隐式图结构融合。实验结果表明，RGSL 模型比现有图预测算法表现更出色，并同时学习有意义的图结构。

Oct, 2022

半监督学习的图拉普拉斯正则化图卷积网络

本文提出了一种图拉普拉斯图卷积网络 (gLGCN) 方法，该方法通过编码图结构和节点特征同时保持局部不变性约束，用于图数据表示和半监督分类，并在实验中证明了其有效性。

Sep, 2018

稀疏性和拉普拉斯约束下的网络拓扑推断

通过利用 Laplacian 约束的高斯图模型解决网络拓扑推断问题，我们将任务重塑为估计一个图拉普拉斯形式的精度矩阵。通过在此模型中检验广泛使用的 l₁范数的局限性，我们发现正则化参数的增大会导致解中非零条目的数量增加，理论上，大的正则化参数会导致完全连接（最密）的图。为了克服这些挑战，我们提出了一种图拉普拉斯估计方法，结合了 l₀范数约束。我们开发了一个高效的梯度投影算法来解决由稀疏性和拉普拉斯约束所特征化的优化问题。通过对合成和金融时间序列数据集进行数值实验证明了所提方法在网络拓扑推断中的有效性。

Sep, 2023

稀疏随机图：正则化和拉普拉斯的集中

本文研究了具有可能不同边缘概率的随机图，位于期望度数有限的稀疏区域。通过在邻接矩阵的每个条目中添加数量级为 1/n 的常数，达到正则化的效果，证明了其集中作用，从而证实了在随机块模型下基于正则化谱聚类的一种最简单和最快速的社区检测方法的有效性。

Feb, 2015

学习正确的层级：一种基于数据驱动的多层图半监督学习层聚合策略

本研究提出了一种针对多层图所进行的聚类方法，其中采用了基于 Laplacian 正则化的非参数模型，并结合修改后的 Label Propagation 迭代方法，成功地进行了半监督学习，使得每一层所具有的信息内容更为丰富，聚类效果得到显著提高。

May, 2023

深度图拉普拉斯正则化用于真实图像的鲁棒去噪

结合基于模型的方法和数据驱动的深度学习方法，利用图拉普拉斯正则化作为可训练模块进行真实图像去噪，提出一种可全程微分和端对端训练的图像去噪方法，不易过拟合，跨领域泛化性能强，相对于现有技术具有显著的优越性。

Jul, 2018

分布式随机子梯度下降的图依赖性隐式正则化

提出了针对多智能体学习的分布式随机次梯度下降（Distributed SGD）的依赖于图形的隐式正则化策略。该方法通过适当地依赖于图形拓扑结构，通过隐式正则化（步长调整和提前停止）保留了中心化统计保证。该方法避免了明确正则化，尤其适用于分布式方法。同时，我们还建立了图不关联的分布式 SGD 的泛化界限和与图关联的优化界限，证明了我们的理论预测了真实情况。

Sep, 2018

探索标签平滑化

本文研究标签平滑正则化（LSR）在随机梯度下降等随机算法训练深度神经网络中的理论及其优化效果，发现采用 LSR 能够降低方差加速收敛，提出了一种名为两阶段标签平滑算法（TSLA）的策略，在训练的前期使用 LSR，后期不再使用，通过实验证明其在训练 ResNet 模型上优于基线算法。

Jun, 2020

基于拉普拉斯光谱约束的结构化图学习

本文提出了一种基于图拉普拉斯矩阵的谱性质与高斯图模型相结合的统一图学习框架，该算法能够有效地学习一大类图族的结构，并在大规模半监督和无监督的基于图的学习任务上进行实际的应用。

Sep, 2019