半监督学习的一致性、随机拔河游戏和 p - 拉普拉斯算子

Jan, 2024

半监督学习的一致性、随机拔河游戏和 p - 拉普拉斯算子

Consistency of semi-supervised learning, stochastic tug-of-war games, and the p-Laplacian

Jeff Calder, Nadejda Drenska

TL;DR该论文主要概述了偏微分方程与基于图的半监督学习的交叉领域，重点介绍了最近关于图基学习的 PDE 连续极限的大量研究，用于证明大数据极限下半监督学习算法的适定性。我们强调了一些围绕图基半监督学习的一致性的有趣研究方向，并通过 p-Laplacian 的随机拔河游戏解释提出了 p-Laplacian 半监督学习的一致性的新结果。我们还展示了一些数值实验的结果，并提出了未来研究的方向。

Abstract

In this paper we give a broad overview of the intersection of partial differential equations (PDEs) and graph-based semi-supervised learning. The overview is focused on a large body of recent work on PDE continuum limits of graph-based learning, which have been used to prove

partial differential equations graph-based semi-supervised learning well-posedness consistency numerical experiments

发现论文，激发创造

用游戏论 p-Laplacian 和半监督学习处理少标注数据

研究了图上半监督学习中的博弈论 p-Laplacian，展示了在有限标记数据和无限未标记数据的情况下其是有限的。具体而言，我们展示了带有图上半监督学习的连续 p-Laplace 方程的连续极限是加权版本。我们还证明图 p-Laplace 方程的解近似是 Holder 连续的高概率。

Nov, 2017

半监督学习的适当加权图拉普拉斯算子

本文介绍了一种针对大数据量下半监督学习中图拉普拉斯方法性能下降问题的解决方案，通过正确设置拉普拉斯正则化的权重使得估计器在大样本情况下保持良好状态，并证明了其收敛性，最终实现连续达到标记值的问题平滑解，且方法实现快捷简便。

Oct, 2018

自我监督学习的李对称偏微分方程模型

本研究通过自监督学习的联合嵌入方法从异构数据中学习 PDEs 的通用表示，其表现优于基准方法，同时改善了神经求解器的时间步进性能。

Jul, 2023

超图 $p$-Laplacian: 微分几何观点

本文将图 Laplacian 和微分几何的类比推广到超图 setting，进而提出了一种新的超图 $p$-Laplacian 以及一种基于此的半监督学习方法，并进一步探索了与超图 cut 和 normalized cut 的一般形式的关系和区别，最终在超图的半监督学习和 normalized cut 方面表现出优异的性能。

Nov, 2017

半监督学习中 $p$-Laplacian 正则化的分析

本研究探讨了半监督学习中的回归问题，以随机几何图形模拟数据几何结构，将离散的 $p$- 拉普拉斯正则化纳入模型，研究了无标记点数增加时渐近表现的性质，发现模型存在收敛性限制，提出了一个简单的模型来解决这一限制。

Jul, 2017

用于稀疏标记数据分类的持久性拉普拉斯增强算法

本文提出一种称为 PL-MBO 的代数拓扑半监督学习方法，它将持久谱图理论与经典的 MBO 方法相结合，通过一系列链复杂体和关联的简单复杂体构建一族持久拉普拉斯变换，从而实现在标记数据量较少的情况下实现良好的性能。

May, 2023

基于贝叶斯框架的从数据中学习控制偏微分方程

通过机器学习中的变分贝叶斯和稀疏线性回归的组合方法，提出了一种新的从数据中发现偏微分方程的方法，可应用于物理、工程和生物学领域等。

Jun, 2023

基于鲁棒的随机微分方程变分公式的深度学习求解线性偏微分方程

该研究探讨了利用 Monte Carlo 方法和深度学习解决高维偏微分方程（PDE）的有效算法，并提供了一些新方法，这些方法在利用梯度优化方法最小化相应损失时具有低差异性，并提高了所提到的现有深度学习方法的性能。

Jun, 2022

半监督学习中基于 $\ell_p$ 的拉普拉斯正则化的渐近行为

以 $L_p$-Laplacian 正则化为基础的半监督学习算法采用 $d$ 维几何随机图模型给出了理论推导，证明了当 $N$ 趋于无穷大而 $n$ 保持不变时，估计函数的性能，证明了在 $P$ 的敏感度和置信度之间存在权衡，表明选择 $p = d +1$ 是最优的选择。

Mar, 2016

使用具有平滑归纳偏差的物理引导学习消除固定维度中的过拟合

最近机器学习理论的进展表明，使用过参数化的机器学习算法对带有噪声样本进行插值总是会导致不一致性。然而，这项工作却令人惊讶地发现，在描述物理定律的偏微分方程（PDEs）控制的监督任务中，使用物理知识驱动的学习进行插值的机器学习可以表现出良性过拟合和一致性。分析了解决涉及椭圆型 PDE 的线性逆问题的核岭（无岭）回归的渐进 Sobolev 范数学习曲线。结果显示，PDE 算子可以稳定方差并导致固定维度问题的良性过拟合，与标准回归设置形成对比。还研究了通过最小化不同 Sobolev 范数引入的各种归纳偏差作为隐式正则化的影响。值得注意的是，对于岭回归和无岭回归，收敛速度与具体的（平滑）归纳偏差无关。对于正则化最小二乘估计器，当适当地选择正则化参数时，所有（足够平滑的）归纳偏差都可以实现最优的收敛速度。平滑性要求恢复了先前在贝叶斯设置中发现的条件，并将结论扩展到最小范数插值估计器。

Jun, 2024