Jun, 2023

关于结构化预测中的认证泛化

PDF
TL;DR在结构化预测中，我们提出了一种新的 PAC-Bayesian 风险界来处理非分离因素和违反 i.i.d. 假设的情况，并按照生成模型的研究，将数据生成为基于 Knothe-Rosenblatt 排序的因子参考测量，以显式提取随机输出变量之间的结构，从而为有挑战性的结构化预测下游任务建立归纳界限提供了初步步骤。
structured predictionpac-bayesian risk boundgeneralizationgenerative modelswasserstein dependency matrix
发现论文，激发创造
  • 结构化预测：从高斯扰动到线性时间的本质算法

    在自然语言处理中，最新的工作提出了使用独立采样的随机结构输出的最大损失，该方法在随机结构输出的数量上是线性的，容易并行化。使用这种损失函数最大化损失是参数化的学习规则的合理方式，我们在 PAC-Bayes 框架下的高斯扰动中研究了这种损失函数的家族，并表明它产生比常用方法更紧的上限，因此这是一种更一般的技术。

    Aug, 2015

  • 在线学习中的结构化预测

    在线学习环境下的结构化预测问题的理论和算法性框架的研究。通过研究，我们发现我们的算法能够推广到监督学习环境中的优化算法，并且在数据非独立同分布的情况下也能达到相同的风险上界。此外，我们还考虑了一种特别设计用于非平稳数据分布（包括对抗性数据）的第二个算法，并以数据分布的变化为函数界限其随机遗憾。

    Jun, 2024

  • 结构化输出预测的细粒度泛化分析

    本文研究机器学习中的结构化输出预测问题，通过提出基于算法稳定性的新型高概率界限和期望的泛化界限，改进了该领域的研究。同时，本文扩展了该领域的研究对象到弱相关数据。

    May, 2021

  • 基于 Wasserstein 的高概率泛化界学习

    本文介绍了基于 Wasserstein 距离的 PAC-Bayesian 泛化边界，并从分别适用于批量学习与独立同分布数据和在线学习的角度进行了证明，并获得了用于 SRM 的可优化培训目标。

    Jun, 2023

  • 一种结构预测的一致性正则化方法

    我们提出并分析了一种规则化方法，用于结构化预测问题。我们表征了一大类损失函数，允许在线性空间中自然地嵌入结构化输出。我们利用这一事实设计了学习算法，使用代理损失方法和规则化技术。我们证明了所提出的方法的普遍一致性和有限样本边界，表征了所提出方法的泛化性能。我们提供了实验结果，证明了所提出方法的实用性。

    May, 2016

  • 通用图形模型的隐变量结构化预测效率

    本文提出了一个有潜在变量的结构化预测的统一框架，包括隐藏的条件随机场和潜在的结构支持向量机。通过对偶性描述了这种普遍公式的局部熵逼近，在图像分割和从单个图像中理解三维室内场景的任务中表现出不错的效果，比潜在结构支持向量机和隐藏条件随机场方法要好。

    Jun, 2012

  • 结构化预测级联

    本文提出了一种基于‘Structured Prediction Cascade’的新型结构预测方法，通过一系列逐步添加模型的方式，可以有效实现对输出状态空间的过滤和精细调整，并且在优化过程中控制过滤效率与准确率的平衡，通过对模型进行不断优化，显著提升结构预测任务的效率与准确性。

    Aug, 2012

  • PAC-Bayes 分析超越平常的边界

    该研究探讨了基于数据相关分布的随机预测模型在训练后的泛化能力以及基于 PAC-Bayes 分析的上界推导方法，同时研究了使用数据相关先验分布的应用，包括针对无界方差的损失函数的一种新颖的边界推导方法。

    Jun, 2020

  • 非线性输出转换的深度结构化预测

    本研究提出一种新型模型，可用于语义分割等任务中，综合多种现有方法，实现了图像分割中非线性输出空间转换，同时保持了现有推理技术的适用性。

    Nov, 2018

  • Wasserstein PAC-Bayes 学习：泛化和优化之间的桥梁

    在训练之前，利用 PAC-Bayes 和优化算法之间的联系，扩展 Wasserstein PAC-Bayes 框架，基于损失函数的几何假设提供新的泛化界，并证明了算法输出具有强大的渐近泛化能力。

    Apr, 2023