在自然语言处理中，最新的工作提出了使用独立采样的随机结构输出的最大损失，该方法在随机结构输出的数量上是线性的，容易并行化。使用这种损失函数最大化损失是参数化的学习规则的合理方式，我们在 PAC-Bayes 框架下的高斯扰动中研究了这种损失函数的家族，并表明它产生比常用方法更紧的上限，因此这是一种更一般的技术。

Aug, 2015

本文提出一种新颖的理论框架，利用凸代理损失函数最小化，探讨结构化预测的相关问题，并提供一些保证与监测措施，同时说明了某些任务损失导致学习难度增加，因此普适性最强的 0-1 损失函数并不适用于一般化的结构化预测。

Mar, 2017

我们提出并分析了一种规则化方法，用于结构化预测问题。我们表征了一大类损失函数，允许在线性空间中自然地嵌入结构化输出。我们利用这一事实设计了学习算法，使用代理损失方法和规则化技术。我们证明了所提出的方法的普遍一致性和有限样本边界，表征了所提出方法的泛化性能。我们提供了实验结果，证明了所提出方法的实用性。

May, 2016

在结构化预测中，我们提出了一种新的 PAC-Bayesian 风险界来处理非分离因素和违反 i.i.d. 假设的情况，并按照生成模型的研究，将数据生成为基于 Knothe-Rosenblatt 排序的因子参考测量，以显式提取随机输出变量之间的结构，从而为有挑战性的结构化预测下游任务建立归纳界限提供了初步步骤。

Jun, 2023

本研究发现，在无正则化的逻辑回归问题、线性可分数据集上，使用均匀线性预测器的梯度下降法会收敛于最大间隔解的方向。收敛速度缓慢，方法适用于其他单调递减的损失函数、多类别问题和某些受限情况下的深层网络训练。此研究还可帮助理解模型的隐式正则化和其他优化方法。

Oct, 2017

本文提出了一种新的混合损失函数，结合了条件随机场的对数损失和支持向量机的多类间隔损失，从而解决多类别和结构化预测问题。我们提供了一个足够的条件，标签之间的优势度量，指出混合损失函数在分类问题中是 Fisher 一致的。我们还通过实验表明，该混合损失函数通常在各种任务中的表现都不差或更好，同时也提供了概率和边缘方法在多类别和结构化预测中的实证比较。

Feb, 2014

提出一种用于结构化预测的损失函数生成通用框架：用户选择一个凸集，提供一个投影在该集合上的 oracle，框架自动生成一个相应的凸平滑损失函数，并证明在输出层增加投影可以降低损失，通过采用多种凸集实现更多任务，结合校准解码后证明其可以作为（潜在非凸）目标损失函数的一致替身。

Oct, 2019

神经网络结构化输出预测问题中的语义损失是通过最小化网络违背依赖关系从而指导网络预测满足底层结构的分布，同时也能与神经符号熵相结合，可以应用于生成对抗网络中，产生符合底层结构的复杂对象的约束性对抗网络类深度生成模型。

May, 2024

本文介绍了一种统一 neuro-symbolic 和 entropy regularization 的框架，并提出了一种神经符号熵正则化损失函数，用于半监督和全监督结构化预测实验中的有效性测试。

Jan, 2022

在线学习环境下的结构化预测问题的理论和算法性框架的研究。通过研究，我们发现我们的算法能够推广到监督学习环境中的优化算法，并且在数据非独立同分布的情况下也能达到相同的风险上界。此外，我们还考虑了一种特别设计用于非平稳数据分布（包括对抗性数据）的第二个算法，并以数据分布的变化为函数界限其随机遗憾。

Jun, 2024