利用森林集成从部分标签中学习结构化输出
此研究旨在将马尔可夫随机场与深度学习相结合,提出了一个训练算法,可以学习结构化模型和深度特征,以提高多个随机变量的预测性能。该算法在预测词汇和图像多分类上均具有重要的性能提高。
Jul, 2014
决策树组合算法(如 RandomForest 和 GradientBoosting)在对于离散或表格数据进行建模方面是主导方法,但是由于它们无法像神经网络那样从原始数据中进行层次化表示学习,因此限制了其在深度学习问题和建模非结构化数据方面的应用。然而,本研究表明通过将 bagging 和 boosting 的数学形式结合起来,可以定义一个具有分布式表示学习过程的图结构树集成算法,并且不需要使用反向传播算法,我们称之为分布式梯度提升森林(DGBF)。最后,我们发现分布式学习在 9 个数据集中的 7 个中表现优于 RandomForest 和 GradientBoosting。
Feb, 2024
本研究提出一种处理结构化输出的大规模公式,该公式基于部分注释数据进行学习,并通过 concave-convex procedure (CCCP) 进行高效求解以达到解决实际应用的目的。我们将该方法应用于可变数量可分对象的具有挑战性的跟踪问题中,并在仅使用完全注释的 25%的情况下实现与完全注释模型相媲美的性能。最后,我们通过实证比较来统一之前使用的 hinge、ramp 或 max loss 用于结构化学习的透视图。
Jun, 2012
本文提出了一种基于主动学习的实用方法,利用部分注释来减少结构标签空间的注释成本,并采用自我训练来将当前模型的自动预测作为未注释子结构的伪标签,通过使用错误估计器自适应地确定部分选择比率来解决选择子结构进行注释的挑战,本文在四个结构预测任务中展示了我们部分注释和自我训练组合的效果。该方法通过公平的比较方案,考虑读取时间,降低了注释成本。
May, 2023
本文研究了如何将一个名为 LionForests 的技术应用在多标签分类问题上,通过采用三种不同的策略来解决难以解释的问题,同时提供了定性和定量实验来评估效果。
Jul, 2022
本文提出了基于 AdaBoost.MH 框架的向量决策树方法,通过使用向量值决策树进行多类边缘优化而不是将多类问题规约为 $K$ 个一对多分类,其中关键要素是由长度为 $K$ 的与标签无关的标量分类器分解出来的与输入无关的向量值决策树桩,在这种方法下,二元分类器可以用于将输入空间分成两个区域,该算法保留了二进制 AdaBoost 的概念优雅性、强大性和计算效率,在实验中与支持向量机和现有最佳的多类提升算法 AOSOLogitBoost 旗鼓相当,而且明显优于其他已知的 AdaBoost.MH 实现。
Dec, 2013
提出了两个结构化和非结构化数据都存在的问题的框架,采用梯度提升和深度神经网络相结合,可以提高性能。这些框架在各种数据集上进行了实验,表现优于基线方法 0.1%-4.7%。
Feb, 2023
提出一种基于多尺度修剪方案和学习分类器粗到细级联策略的通用框架,可以显著加速图形模型优化,同时保持卓越的解决方案精度,在计算机视觉相关的 MRF 问题上,该框架能够不断提高常数时间速度,并比直接优化 MRF 获得更精确的解决方案。
Sep, 2014
该研究提出了一个名为 MLDF 的多标签深度森林方法,该方法利用度量感知特征重用和度量感知层增长机制同时解决了多标签问题中的两个难点:模型复杂性约束和性能度量优化。实验证明,与基准数据集上的其他方法相比,我们的提议不仅击败了六个度量标准,而且在多标签学习中具有标签相关性发现和其他期望的属性。
Nov, 2019