ICLRMar, 2022

生成模型助力弱监督 (反之亦然)

PDF
TL;DR本研究提出了一种融合程序性弱监督和生成对抗网络的模型，通过对数据的离散潜变量和弱监督派生数据的标签估计进行对齐，从而更好地建模样本相关的弱监督结果的准确性，并通过合成样本实现了数据增强。实验结果表明，所提出的模型在多分类图像分类数据集上表现优异，同时提升了生成图像的质量和最终模型性能。
supervised machine learninglabeled dataweak supervisiongenerative modelingdata augmentation
发现论文，激发创造
  • 通过弱监督实现公平生成建模

    本文提出了一种弱监督算法来克服深度生成模型中的数据集偏差，该方法通过额外的小型未标记参考数据集作为监督信号来探测现有数据集中的偏差，并学习生成模型。实验结果表明，该方法降低了基于潜在因素的偏差达到了高达 34.6％，在同时使用基于生成对抗网络的图像生成的情况下，数据效率显著提高。

    Oct, 2019

  • 融合条件双模 GAN 和编程式弱监督

    我们通过使用标签模型生成的伪标签来实现一个噪声感知的分类器，利用噪声感知的分类器的预测结果训练标签模型并生成特定类别的图像。此外，我们还研究了在定义的不确定性预算内使用数据集子集来训练分类器对伪标签的影响。我们将该子集选择问题形式化为对伪标签熵的背包约束下的子模性最大化目标，进行了多个数据集的实验证明了我们方法相对于当前最先进的方法的有效性。

    Dec, 2023

  • 利用质量加权的弱监督自动标注共同提高语言理解和生成能力

    本研究提出了一种半监督框架，利用 GPT-2 模型自动构建了大规模数据，并根据估计的标签质量调整模型参数更新，实现 NLG 和 NLU 模型的联合训练，证明在数据稀缺场景下，该弱监督培训范式是一种有效的方法，在 E2E 和天气基准测试上优于基准系统。

    Feb, 2021

  • 使用多任务弱监督训练复杂模型

    文章提出了一种基于多任务弱监督的矩阵补全方法，通过建立弱监督任务之间的相关性解决弱监督准确性低的问题，从而提高模型训练的效果。实验结果表明，与传统的有监督方法相比，该方法能平均提高 20.2% 的准确率。

    Oct, 2018

  • 端到端弱监督

    通过聚合多个弱监督数据源，本研究提出一种直接使用神经网络重参数化概率先验标签，从而直接学习下游模型的端到端方法，取得了端模型性能和弱监督数据依赖性方面的改进。

    Jul, 2021

  • 一种基准生成式概率模型用于弱监督学习

    本研究提出了基于生成模型的自动标注方法，通过弱监督学习去减轻手动标注的负担，取得了比现有方法更好的性能表现，提高了机器学习项目的生产效率。

    Mar, 2023

  • WeaNF: 基于归一化流的弱监督

    本文探讨生成式建模弱监督中的新方向，即通过正则化流为每个弱标记源或标记函数估计密度，同时捕捉标记函数重叠和相关性现象，并在各种弱监督数据集上进行分析比较。结果表明，弱监督正则化流相对于标准弱监督有更好的效果。

    Apr, 2022

  • 交互式弱监督：学习用于数据标注的有用启发式方法

    该研究论文展开了交互式弱监督学习框架的研究，该框架中，方法提议启发式方法并从用户每个被提议的启发式反馈中学习，其实验表明只需要少量的反馈迭代就可以训练模型达到高竞争的测试集性能，而不需要访问本文中使用的标签数据。

    Dec, 2020

  • 通用弱监督

    该研究提出了一种通用的技术，以实现对任何标签类型的弱监督，同时仍提供实用灵活性、计算效率和理论保证，并应用于以往没有使用弱监督框架解决的重要问题，包括排序学习、回归和超似曲空间中的学习。

    Dec, 2021

  • 多个噪声部分标注者中学习

    本文提出了一种基于概率生成模型的能够估计多个噪声偏差的部分标注工具并扩展了程序化弱监督的基础，通过对 3 个文本分类和 6 个对象分类任务的评估，证明了部分标注的效果可达到 8.6% 的平均准确率提高，进而探讨了部分标注在零样本对象分类任务中的应用以及与最新零样本学习方法相比的效果。

    Jun, 2021