AAAIDec, 2022

标签损失：通过直接损失构建进行弱监督学习

PDF
TL;DR本文提出一种基于 (heuristics) 启发式规则构造损失函数 (loss functions) 的弱监督学习 (weak supervision) 方法，命名为 'Losses over Labels (LoL)'，可以更多地利用启发式规则中专家知识和判断依据进行训练，有效提高文本和图像分类任务中的性能。
weak supervisionheuristicsloss functionsfeature selectiongradient information
发现论文，激发创造
  • 交互式弱监督：学习用于数据标注的有用启发式方法

    该研究论文展开了交互式弱监督学习框架的研究，该框架中，方法提议启发式方法并从用户每个被提议的启发式反馈中学习，其实验表明只需要少量的反馈迭代就可以训练模型达到高竞争的测试集性能，而不需要访问本文中使用的标签数据。

    Dec, 2020

  • 弱监督学习的约束标注

    本文提出了一种基于约束空间的弱监督学习方法，将不同的弱监督信号结合起来进行训练，在文本分类和图像分类任务中优于其他方法。

    Sep, 2020

  • 重新思考弱监督在协同学习中的应用

    研究了在弱监督下利用联合训练有监督和无监督对比损失来训练相似图，证明了半监督标签可以改善下游分类错误的绑定，而噪声标签的影响有限。

    Jun, 2023

  • 间接观测中的学习

    本文提出了一种基于概率框架的弱监督学习方法，通过最大似然原则，利用多种弱监督信号（例如嘈杂标签和粗粒度标签等）进行学习，使用 true target 的一个鉴别性模型来建模间接观察，并利用随机变量最大化似然度来隐式地进行真实目标的估计，该方法可直接用于深度神经网络中。

    Oct, 2019

  • 学习超标签模型以进行编程式弱监督

    本文提出一种超级标签模型，通过程序化弱监督方法中的标注函数抽象出来产生训练标签，可以在单个前向传递中推断出每个数据集的基本真实标签。使用了图神经网络，使模型预测对标签函数排列的顺序保持不变，从而在 14 个真实世界中的数据集上表现得比现有的最佳方法更具效率和精度。

    Jul, 2022

  • 生成模型助力弱监督 (反之亦然)

    本研究提出了一种融合程序性弱监督和生成对抗网络的模型，通过对数据的离散潜变量和弱监督派生数据的标签估计进行对齐，从而更好地建模样本相关的弱监督结果的准确性，并通过合成样本实现了数据增强。实验结果表明，所提出的模型在多分类图像分类数据集上表现优异，同时提升了生成图像的质量和最终模型性能。

    Mar, 2022

  • 端到端弱监督

    通过聚合多个弱监督数据源，本研究提出一种直接使用神经网络重参数化概率先验标签，从而直接学习下游模型的端到端方法，取得了端模型性能和弱监督数据依赖性方面的改进。

    Jul, 2021

  • 一种基准生成式概率模型用于弱监督学习

    本研究提出了基于生成模型的自动标注方法，通过弱监督学习去减轻手动标注的负担，取得了比现有方法更好的性能表现，提高了机器学习项目的生产效率。

    Mar, 2023

  • 通过弱间接监督创建训练集

    该研究论文提出了 Weak Indirect Supervision (WIS) 这一问题，还设计了一种基于概率建模的 PLRM 方法来解决监督数据输出空间不匹配的问题。PLRM 方法在图像分类、文本分类和工业广告应用中均表现出超过基线模型 2% ~ 9% 的优势。

    Oct, 2021

  • 弱监督学习的批判性观察：远不及你所想的强

    本文研究弱监督学习中复杂的训练方法，发现成功的关键在于干净的验证数据，即使只用五个样本的干净数据，已有方法的优势也会被削弱，因此提出了进一步研究方向建议。

    May, 2023