在线学习中的结构化预测
我们提出并分析了一种规则化方法，用于结构化预测问题。我们表征了一大类损失函数，允许在线性空间中自然地嵌入结构化输出。我们利用这一事实设计了学习算法，使用代理损失方法和规则化技术。我们证明了所提出的方法的普遍一致性和有限样本边界，表征了所提出方法的泛化性能。我们提供了实验结果，证明了所提出方法的实用性。
May, 2016
该论文讨论了利用随机结构预测和 Bandit 反馈学习协议来解决自然语言处理中的问题的方法，并对于凸和非凸目标进行了分析和实验评估，得到在最小梯度范数和最佳任务性能的优化标准下，利用非凸目标获得了最终的最佳结果。
Jun, 2016
在结构化预测中，我们提出了一种新的 PAC-Bayesian 风险界来处理非分离因素和违反 i.i.d. 假设的情况，并按照生成模型的研究，将数据生成为基于 Knothe-Rosenblatt 排序的因子参考测量，以显式提取随机输出变量之间的结构，从而为有挑战性的结构化预测下游任务建立归纳界限提供了初步步骤。
Jun, 2023
本研究提出了一种应用于计算机视觉的结构化预测方法，在训练过程中综合加入了结构和特征计算的权衡，在测试时具有任意性，以达到提高最佳分类性能的目的。
Dec, 2013
本文提出了一种新的迭代算法，该算法在在线学习环境中训练一个稳定的确定性策略，结合特定的降维假设，找到了具有良好性能的策略，克服了之前方法的一些不足，实验表明该方法在两个挑战性的仿真学习问题和基准序列标记问题上表现优异。
Nov, 2010
在自然语言处理中，最新的工作提出了使用独立采样的随机结构输出的最大损失，该方法在随机结构输出的数量上是线性的，容易并行化。使用这种损失函数最大化损失是参数化的学习规则的合理方式，我们在 PAC-Bayes 框架下的高斯扰动中研究了这种损失函数的家族，并表明它产生比常用方法更紧的上限，因此这是一种更一般的技术。
Aug, 2015
本文提出一种能够在线预测的算法，能够在概率和对抗性设置下与未知复杂度的情境树专家相竞争。通过将结构风险最小化的概率框架纳入现有的自适应算法中，我们不仅可以稳健地学习存在随机结构的同时获得正确的模型阶数，并取得了能够与拥有强侧面信息的最优算法竞争的遗憾边界，从而提供了对模型和随机性同时适应性的第一个具体保证。
May, 2018
本文提出了一种基于最小二乘代理损失的方法来解决标签排名问题，并针对本方法采用了具体的特征映射 / 嵌入来转换排名 / 排列为向量表示，旨在提高结构化预测的效率和准确性，在部分排名情况下有着良好的表现。
Jul, 2018
在线学习方法在最小假设下产生顺序遗憾界限，并为统计学习提供期望风险界限；然而，最近的研究结果表明，在许多重要情况下，遗憾界限可能无法保证统计背景下紧致的高概率风险界限。本研究通过将通用在线学习算法应用于在线到批次转换，通过对定义遗憾的损失函数进行一般的二阶校正，获得了几个经典统计估计问题（如离散分布估计、线性回归、逻辑回归和条件密度估计）的几乎最优的高概率风险界限；我们的分析依赖于在线学习算法的不恰当性，因为它们不限制使用给定参考类别的预测器；我们的估计器的不恰当性使得在各种问题参数上显著改善了依赖；最后，我们讨论了我们的顺序算法与现有批处理算法之间的一些计算上的优势。
Aug, 2023