Sep, 2023

弱监督学习的统一风险分析

PDF
TL;DR在弱监督学习领域的研究中，我们发现缺乏一个统一解释弱监督场景背后机制的方法，更不用说系统地处理风险重写问题，这是经验风险最小化方法中的一个关键步骤。本文介绍了一个框架，提供了对弱监督学习的全面理解和统一的方法论。框架的构成部分利用了污染视角，提供了弱监督是如何形成并包含了现有的 15 种弱监督学习设置的统一解释。引入的减少图提供了弱监督学习之间的全面连接。该框架的分析部分作为一种去污染过程，提供了进行风险重写的系统方法。除了传统的逆矩阵方法外，我们设计了一种称为边际链的新策略，旨在去污染分布。通过恢复文献中报道的现有重写，我们证明了所提框架的可行性。
weakly supervised learningunified interpretationrisk rewrite problemcomprehensive understandingsystematic method
发现论文，激发创造
  • 通用弱监督

    该研究提出了一种通用的技术，以实现对任何标签类型的弱监督，同时仍提供实用灵活性、计算效率和理论保证，并应用于以往没有使用弱监督框架解决的重要问题，包括排序学习、回归和超似曲空间中的学习。

    Dec, 2021

  • 从弱监督学习的一般框架

    这篇论文介绍了一种从弱监督学习中学习的通用框架，其中核心是使用期望最大化 (EM) 方法灵活处理各种弱监督来源，包括实例部分标签，聚合统计，成对观测和无标签数据。我们还提出了一种先进的算法，使用非确定性有穷自动机 (NFA) 和前后向算法显著简化了 EM 的计算需求，有效地将时间复杂度从现有解决方案中通常需要的二次或阶乘降低到线性规模。这种学习任意弱监督问题的方法被转化为对 NFA 的建模。GLWS 不仅提高了机器学习模型的可扩展性，还在 11 个弱监督场景中展示了卓越的性能和多功能性。我们希望我们的工作为这个领域的进一步发展和实际应用铺平道路。

    Feb, 2024

  • 通过弱间接监督创建训练集

    该研究论文提出了 Weak Indirect Supervision (WIS) 这一问题，还设计了一种基于概率建模的 PLRM 方法来解决监督数据输出空间不匹配的问题。PLRM 方法在图像分类、文本分类和工业广告应用中均表现出超过基线模型 2% ~ 9% 的优势。

    Oct, 2021

  • 端到端弱监督

    通过聚合多个弱监督数据源，本研究提出一种直接使用神经网络重参数化概率先验标签，从而直接学习下游模型的端到端方法，取得了端模型性能和弱监督数据依赖性方面的改进。

    Jul, 2021

  • 弱监督学习与打车共享用户体验提升相遇

    本文提出了 CWSL 方法，旨在解决数据中存在复合型弱监督问题，针对标签噪声和分布偏差问题，使用实例加权策略和鲁棒性标准进行优化，同时结合交替优化和随机梯度方法对大规模数据进行优化，实验结果表明该方法在显著提高准确率的同时可行用于处理复杂真实情境中的弱监督学习问题。

    Jan, 2020

  • 弱监督升级为结构化预测

    在标签输出空间包含二进制或多类标签集以外的结构化预测情况下，本文介绍了一些技术基于伪欧几里得嵌入和张量分解，提供了几乎一致的噪声率估计，并针对常曲率黎曼流形引入了新的不变量作为一致的噪声率估计。

    Nov, 2022

  • 基于弱监督的口语理解低资源流水线

    本文提出了一种基于提示的弱监督学习方法，用于在未标记的数据上获取嘈杂的标签，并在许多口语理解任务上取得了可靠的表现，优于传统的规则方法和其他竞争性的低资源基准。

    Jun, 2022

  • AutoWS: 文本分类自动化弱监督框架

    提出了 AutoWS 框架用于增加弱监督过程的效率，减少对领域专家的依赖性，使用少量标记的实例和自动创建标注函数的方法来指定嘈杂标签，然后通过一个下游歧别分类器将其聚合成概率标签。

    Feb, 2023

  • 弱监督下的 AUC 优化：一个统一的部分 AUC 方法

    本文提出了 WSAUC 框架作为弱监督 AUC 优化问题的统一解决方案，在此框架下，通过最大化经验 rpAUC，本文在多种弱监督情景下有效提高了 AUC 的优化能力。

    May, 2023

  • 具有自包含置信度的网络监督图像分类

    本文提出了一种基于 Self-Contained Confidence (SCC) 的深度神经网络 (DNN) 方法，以样本的可信度为基础，将自我标记自监督损失函数和 webly 监督损失函数进行有机融合，提出了一种简单而有效的网络学习 (WSL) 框架，实验验证后将表现提升至 WebVision-1000 和 Food101-N 两个大规模 WSL 数据集的最佳水平。

    Aug, 2020