Aug, 2015

结构化预测：从高斯扰动到线性时间的本质算法

PDF
TL;DR在自然语言处理中，最新的工作提出了使用独立采样的随机结构输出的最大损失，该方法在随机结构输出的数量上是线性的，容易并行化。使用这种损失函数最大化损失是参数化的学习规则的合理方式，我们在 PAC-Bayes 框架下的高斯扰动中研究了这种损失函数的家族，并表明它产生比常用方法更紧的上限，因此这是一种更一般的技术。
margin-based structured predictionnatural language processingpac-bayes frameworkgaussian perturbationsparameter learning
发现论文，激发创造
  • 关于结构化预测中的认证泛化

    在结构化预测中，我们提出了一种新的 PAC-Bayesian 风险界来处理非分离因素和违反 i.i.d. 假设的情况，并按照生成模型的研究，将数据生成为基于 Knothe-Rosenblatt 排序的因子参考测量，以显式提取随机输出变量之间的结构，从而为有挑战性的结构化预测下游任务建立归纳界限提供了初步步骤。

    Jun, 2023

  • 在多项式时间内学习最大后验扰动模型以进行结构化预测

    本文提出了一种基于 Rademacher 泛化界限的新型通用泊松模型学习算法，并给出了对未知示例的泛化保证条件，该方法可以在多项式时间内计算 MAP 预测器期望损失的泛化界限。

    May, 2018

  • 结构化预测的紧密误差界

    本文介绍了关于机器学习中结构化预测任务的理论分析，探究了标签预测对标签组合所带来的影响，以及如何通过图结构分类来达到期望错误率的降低。

    Sep, 2014

  • 在线学习中的结构化预测

    在线学习环境下的结构化预测问题的理论和算法性框架的研究。通过研究，我们发现我们的算法能够推广到监督学习环境中的优化算法，并且在数据非独立同分布的情况下也能达到相同的风险上界。此外，我们还考虑了一种特别设计用于非平稳数据分布（包括对抗性数据）的第二个算法，并以数据分布的变化为函数界限其随机遗憾。

    Jun, 2024

  • 关于带有校准凸代理损失的结构化预测理论

    本文提出一种新颖的理论框架，利用凸代理损失函数最小化，探讨结构化预测的相关问题，并提供一些保证与监测措施，同时说明了某些任务损失导致学习难度增加，因此普适性最强的 0-1 损失函数并不适用于一般化的结构化预测。

    Mar, 2017

  • 基于劫匪反馈的随机结构化预测

    该论文讨论了利用随机结构预测和 Bandit 反馈学习协议来解决自然语言处理中的问题的方法，并对于凸和非凸目标进行了分析和实验评估，得到在最小梯度范数和最佳任务性能的优化标准下，利用非凸目标获得了最终的最佳结果。

    Jun, 2016

  • 一种结构预测的一致性正则化方法

    我们提出并分析了一种规则化方法，用于结构化预测问题。我们表征了一大类损失函数，允许在线性空间中自然地嵌入结构化输出。我们利用这一事实设计了学习算法，使用代理损失方法和规则化技术。我们证明了所提出的方法的普遍一致性和有限样本边界，表征了所提出方法的泛化性能。我们提供了实验结果，证明了所提出方法的实用性。

    May, 2016

  • 使用投影正则化的结构化预测

    提出一种用于结构化预测的损失函数生成通用框架：用户选择一个凸集，提供一个投影在该集合上的 oracle，框架自动生成一个相应的凸平滑损失函数，并证明在输出层增加投影可以降低损失，通过采用多种凸集实现更多任务，结合校准解码后证明其可以作为（潜在非凸）目标损失函数的一致替身。

    Oct, 2019

  • 结构化预测中的部分推断

    本文探讨了结构化预测中的部分推断问题，采用生成模型方法，考虑在图形标签空间中最大化一种包括一元和成对潜势的评分函数，采用两阶段凸优化算法进行标签恢复，并提供了可证明保证部分恢复的统计和拓扑要求。

    Jun, 2023

  • 结构化预测中可分离损失的不一致性

    本文证明了针对结构化预测问题的一种可分离的负对数似然损失不一定是贝叶斯一致的，即最小化此损失并不一定会产生一个在给定输入的数据分布中预测最可能结构的模型，这个事实引出一个问题，即这些损失是否适用于结构化预测，如果适用，则为何适用。

    Jan, 2023