基于超图的 Wasserstein 软标签传播:算法及泛化误差界
本文中,我们介绍了一种更优的传统标签传播算法(LPA)的分析方法,它可以利用有用的先验信息,具体而言是无标签数据上的概率假设标签。我们提供了一个误差界限,它利用了底层图形的局部几何特性和先前信息的质量。我们还提出了一个框架来整合多个来源的嘈杂信息。我们在多个基准弱监督分类任务上演示了我们的方法的能力,并展示了对现有半监督和弱监督方法的改进。
Oct, 2022
该研究使用算法传输成本的期望 Wasserstein 距离得到了学习算法泛化误差的上界,为通过最优传输视图研究学习算法的泛化提供了新途径并对损失函数施加了较少的限制,并通过总变差距离、相对熵和 VC 维度提供了几个其他的算法传输成本的上界,最后基于我们的建立的框架,我们分析了深度学习中的泛化误差并得出了结论:深度神经网络中的泛化误差随着层数的增加而指数级下降。
Nov, 2018
本研究提出了一种基于标签传播的领域自适应框架,利用源域上的教师分类器将信息传递到目标域,并通过扩展假设和利用现有的泛化上界,以满足整个算法的有限样本保证。 通过采用一致性半监督学习方法,我们在领域适应设置中获得了显着的改进。
Feb, 2021
本文介绍了基于 Wasserstein 距离的 PAC-Bayesian 泛化边界,并从分别适用于批量学习与独立同分布数据和在线学习的角度进行了证明,并获得了用于 SRM 的可优化培训目标。
Jun, 2023
该论文提出了一种新的框架,利用局部图神经网络和基于置信度的路径调度器,可以在大规模真实数据上可靠地传播标签,同时有效地处理异常值和复杂的图结构。在 ImageNet 和 Ms-Celeb-1M 数据集上的实验证明了该方法的有效性。
Jul, 2020
本文开发了一种在超图上扩散特征和标签的非线性扩散方法,通过超图结构进行扩散可以将其解释为超图平衡网络,并以此为节点内嵌,使用线性模型进行预测。该方法比几种超图神经网络更准确,训练时间也更短。
Mar, 2021
本文提出了基于 Wasserstein 距离的预期泛化误差界限,并分别介绍了全数据集、单字母和随机子集限制,以及从 Steinke 和 Zakynthinou [1] 的随机子抽样设置中的类似物。此外,当损失函数有界且选择 Wasserstein 距离中的度量时,这些界从相对熵的基础上得到了更好的下限 (因此是更紧的)。在特定情况下,这些结果可以被看作是考虑了假设空间几何和基于相关熵的界限之间的桥梁。另外,本文还介绍了如何基于这些界限产生各种新的界限,并使用类似的证明技术得出关于后向通道的类似界限。
Jan, 2021
在训练之前,利用 PAC-Bayes 和优化算法之间的联系,扩展 Wasserstein PAC-Bayes 框架,基于损失函数的几何假设提供新的泛化界,并证明了算法输出具有强大的渐近泛化能力。
Apr, 2023
本文提出了一种新的高效置信传播算法 Sinkhorn belief propagation (SBP),用于基于大量个体生成的聚合数据的概率图模型的推断问题。该算法基于最优传输理论并具有全局收敛保证,特别适用于隐马尔可夫模型的情况。
Mar, 2020