Jun, 2024

潜变量网络模型的迁移学习

PDF
TL;DR我们研究潜在变量网络模型中的迁移学习。我们提出了一种利用图距离排序的高效算法，用于估计给定潜在变量的边缘概率矩阵 $P$ 和 $Q$，并在没有假设源网络和目标网络参数形式的情况下实现了 $o (1)$ 的估计误差，并在随机块模型中证明了极小化下界和一个简单算法的性能。最后，我们在真实世界和模拟图迁移问题上对我们的算法进行了实证验证。
transfer learninglatent variable network modelsestimationgraph distancestochastic block models
发现论文，激发创造
  • 线性和单隐藏层神经网络转移学习的极小化下界

    本研究开发了一个统计极小化框架以表征在回归中通过线性和单隐藏层神经网络模型进行的迁移学习的基本限制，并提取出源数据和目标数据的标记数以及适当的相似性概念作为算法所能实现的目标泛化误差的下限。我们的下限提供了迁移学习的益处和限制的新见解，并通过各种实验验证了我们的理论发现。

    Jun, 2020

  • 具潜变量的循环图模型学习：高效方法与保证

    研究了隐变量图模型中的结构估计问题，提出了一种计算高效且保证正确性的方法，并应用于局部树状结构的模型及相关衰减的模型，特别地，对于伊辛模型，该方法能与采样要求的下界接近。

    Mar, 2012

  • 可证明的 Noisy-or 网络学习

    本文介绍了如何使用张量分解学习单层嘈杂或网络的方法，并解决了存在系统性误差时如何对张量分解进行分析的问题，这一方法在其他设置中可能有用。

    Dec, 2016

  • 学习潜在的图结构及其不确定性

    该研究展示了在预测任务中，图神经网络（GNNs）利用关系信息作为归纳偏差以提高模型的准确性。通过学习图结构的方法来解决下游预测任务中未知的相关关系，同时证明了点预测损失函数（如平均绝对误差）的最小化并不能保证对潜在关系信息及其相关不确定性进行适当的学习。相反，合适的损失函数在随机模型输出上同时确保了（i）未知邻接矩阵潜在分布和（ii）在预测任务上的最佳性能。最后，我们提出了一种基于采样的方法来解决这一联合学习任务。实证结果验证了我们的理论观点，并证明了所提方法的有效性。

    May, 2024

  • 隐变量联合树的谱算法

    使用张量代数，我们提出了一个隐变量模型的新参数化方法，用于计算观测变量的边缘值，并设计了一种基于张量操作和奇异值分解的本地最小化算法来学习这种参数化，这是首个能为低树宽潜在图模型提供一致参数学习技术的研究。

    Oct, 2012

  • 利用预测信念传播学习通用潜变量图模型

    提出了一种基于预测信念传播的新型学习和推断算法，对于一般潜变量图模型，算法将硬参数学习问题简化为一系列监督学习问题，并将学习不同种类的潜变量图模型统一到一个局部最优、统计一致的学习框架中，此算法在合成和真实数据集上显著优于前人方法，也更快地计算。

    Dec, 2017

  • 使用最优传输学习有向图模型

    使用最优传输的方法实现了一个面向许多有向图的参数学习框架，可以灵活地从不完整数据中推断概率有向图模型中的潜在变量。在多个实验中，该方法展示了恢复真实参数和离散表示学习等任务上的优异性能。

    May, 2023

  • 分布偏移下近似最优线性回归

    探索在源域具有充足标签数据但目标域仅有稀缺标签数据的情况下，开发了具有最小值线性风险的估计量的转移学习算法，包括协变量转移和模型转移，同时也考虑了数据来自线性或一般非线性模型的情况，证明了线性最小值估计器与各种源／目标分布的非线性估计器相比的绝对误差是一个常量。

    Jun, 2021

  • 随机微分方程网络学习

    该篇论文研究了使用线性模型描述随机动态的网络 (有向图) 的学习问题，并证明了在较高采样率的情况下，利用 $\ell_1$- 正则化最小二乘算法可以高效地推断出稀疏网络结构。

    Nov, 2010

  • 基于图神经网络的估计误差最小化的分散学习策略

    在多跳无线网络中，通过分布式可扩展的采样和传输策略以及图神经网络结构，优化采样和远程估计研究的主要问题包括缓存并从其他代理处获得最新样本、无线冲突通道和各个网络节点之间的决策制定。

    Apr, 2024