Nov, 2017

Snorkel：利用弱监督实现快速训练数据创建

PDF
TL;DRSnorkel 是一个无需手动标记数据的系统，它基于数据编程的机器学习范式实现了自动去噪，用户可以编写任意启发式函数以训练最先进的模型。在与美国退伍军人事务部和美国食品和药品管理局的两次合作以及代表其他部署的四个开源数据集上，Snorkel 相对于先前的启发式方法提高了 132％的平均预测性能，并且与大型手工筛选的训练集的平均预测性能相差不到 3.60％。
snorkelmachine learninglabeling functionsdata programmingpredictive performance
发现论文，激发创造
  • Snorkel DryBell：在工业尺度上部署弱监督的案例研究

    本文通过研究发现，借助于企业现有的知识资源可以用作弱监督的数据，大大减少机器学习应用程序开发时间和成本，并介绍了一种新的弱监督管理系统 “Snorkel DryBell”，该系统可以进行大规模的执行和提高分类性能。

    Dec, 2018

  • 循环中的语言模型：将提示融入弱监督

    本研究提出使用大型预训练语言模型进行弱监督学习的策略，并使用 Snorkel 系统去噪声标签，得到的训练数据可提高分类器的准确性，相比于零样本方法，错误率平均降低 19.5%。此外，该方法所得分类器的准确度相当或高于手动设置的规则。

    May, 2022

  • 文本数据标记的自适应规则发现

    介绍了一种交互式系统 Darwin，可以协助 weakly-supervised learning 文本数据的标注规则生成。通过候选规则的自动生成和标注者的反馈机制，Darwin 可以高效地生成规则，实验结果表明 Darwin 能够比已有的方法更有效地识别出正例。

    May, 2020

  • 数据编程：快速创建大规模训练集

    为解决有限数据训练集的问题，本研究提出一种名为 Data Programming 的范式，通过弱监督策略和领域启发式标注函数生成训练集，以生成模型表示训练集的标注过程并降噪，探讨数据编程在监督学习中的应用及在 TAC-KBP 数据集上的检测等实验与研究。

    May, 2016

  • 交互式弱监督：学习用于数据标注的有用启发式方法

    该研究论文展开了交互式弱监督学习框架的研究，该框架中，方法提议启发式方法并从用户每个被提议的启发式反馈中学习，其实验表明只需要少量的反馈迭代就可以训练模型达到高竞争的测试集性能，而不需要访问本文中使用的标签数据。

    Dec, 2020

  • 医学图像分类的自监督方法：每类约 100 个标记样本的最先进性能

    本研究通过采用 DINO 框架，尤其是使用非监督式学习中的图像表示来分析了医学图像分类中的无监督深度学习性能，并证明这种方法可以在使用少量标记数据（大约每类 100 个标记样本）的情况下，取得超过现有技术的性能表现。

    Apr, 2023

  • 通过合成医学影像进行分类和定位的快速训练数据创建

    通过我们提出的方法，可以使用生成的数据训练任何深度神经网络来解决医学图像分析领域中数据不足和专家标注难题，从而提高地位监督模型和强监督模型的准确性。

    Aug, 2023

  • Curator：使用自监督学习创建大规模策展标注数据集

    本研究提出了一个名为 Curator 的自动化数据集筛选工具，利用自我监督、可扩缩的最近邻检索和主动学习等技术以及机器学习算法自主对未标记数据进行搜索，可大大缩短筛选数据集的时间。研究展示了 Curator 在卫星图像野火分类方面的应用，这也说明了 Curator 不仅适用于地球科学领域，且可以轻松应用于其他领域的问题解决。

    Dec, 2022

  • 预训练的视觉语言模型作为部分注解器

    本研究探讨了一种新颖的 “预训练标注 - 弱监督学习” 范式，通过在图像分类任务中基于 CLIP 使用多个提示模板对图像样本进行标注，进而获得多个候选标签以形成含噪部分标签的数据集，并设计了一种协作一致性正则化算法来解决这个问题。实验表明，该方法在无需额外标签信息的情况下显著优于零样本推理，优于其他弱监督学习和少样本微调方法，并获得了更小的模型。

    May, 2024

  • 从少到多学更多：加强弱监督以实现即时检索

    本文介绍了两种减少训练数据需求的方法：一种是通过众包方法生成标签，并去除有害数据；另一种则是使用学习排序模型生成训练数据。这些方法使我们要比以前更少的训练数据即可超越无监督基准的表现。

    Jul, 2019