Nov, 2022

差模型的好数据：基于阈值的自动标注的基础

PDF
TL;DR本文分析了基于阈值的自动标注系统，推导了保证机器标注数据质量所需的人工标注验证数据量的样本复杂度上限，并通过模拟和实际数据集研究了基于阈值的自动标注在真实数据上的有效性和使用限制。
auto-labelingsupervised machine learningvalidation datasample complexity boundsthreshold-based
发现论文，激发创造
  • 迭代优化和统计结果验证的高效人机互动式深度学习模型训练

    本文介绍一种创建数据清理的分割的方法，通过使用自动生成的训练数据和快速人工视觉检查来提高模型的准确性，并保持时间 / 精力和成本的低成本。此方法可实现高准确度模型的成本效益和快速方法，同时还能最大限度地减少获取高质量训练数据的成本和精力。

    Apr, 2023

  • 从卵石取珠：自动标记的改进置信度函数

    使用阈值自动标记和最优置信度函数来提高自动标记系统的性能。方法 Colander 在基线模型的标签覆盖率上实现了高达 60% 的改进，并且保持自动标记错误率低于 5%，使用与基线相同数量的标记数据。

    Apr, 2024

  • 自动评估的正确方法：使用合成数据进行模型评估

    使用人工标注的验证数据评估机器学习模型是昂贵且耗时的，可以使用 AI 标记的合成数据进行自动评估以减少所需的人工标注数量。我们建议了一种高效且统计原则的算法，提高样本效率同时保持无偏性。这些算法在使用 GPT-4 进行实验时将有效人工标注样本的数量增加了 50%。

    Mar, 2024

  • 自动化不平衡学习

    本文介绍一种新的基准来研究不同的自动机器学习方法如何受标签不平衡的影响。其次，提出了更好地处理不平衡的策略并将它们整合到现有的自动机器学习框架中。最后，对这些策略的影响进行了系统研究，发现它们的加入显著增强了自动机器学习系统对标签不平衡的鲁棒性。

    Nov, 2022

  • 无需人类注释的有益标注

    该研究提出了一种利用影响函数来选择最有信息量样本和分配相关标签的自动标注方法，以替代传统的人工标注方法，并且在九个基准数据集上的实验证明了该方法在主动学习策略中的优越性能。此外，研究还对大型语言模型 (LLM) 的 fine-tuning 进行了深入探索和实际应用。

    May, 2024

  • 深度学习在生物医学图像分类中使用自动标签与手动标签同样有效

    研究探讨在何种情况下可以采用自动标签来训练深度学习模型进行癌症组织切片图像分类，结果发现具有 10% 噪声标签的自动标签可以获得竞争性模型，而应用 Semantic Knowledge Extractor Tool (SKET) 算法生成的自动标签表现与手动标签相当，达到了与手动标签训练模型相当的稳定性能。

    Jun, 2024

  • 一种基准生成式概率模型用于弱监督学习

    本研究提出了基于生成模型的自动标注方法，通过弱监督学习去减轻手动标注的负担，取得了比现有方法更好的性能表现，提高了机器学习项目的生产效率。

    Mar, 2023

  • 通过人类反馈提高分类性能：标注一部分，剩下的我们来标注

    借助大语言模型，本文着眼于通过少量标注样本来显著提高模型准确性，从而通过持续的人类反馈循环改进人工智能模型的准确度、回归率和精确度。通过在金融短语库、银行、Craigslist、Trec 和亚马逊评论数据集上的基准测试，证明了即使只有少量标注样本，我们也能超过零样本大语言模型的准确性，提供更好的文本分类性能，而无需手动标记数百万行数据。

    Jan, 2024

  • 大规模图像分类数据集高效标注的良好实践

    本文研究了一种高效的策略收集多类别图像集的分类标签，使用自监督学习技术并将标注问题视为半监督学习问题，并提出了有效的标注指南，用此方案对 ImageNet100 图像集进行模拟实验，结果表明每张图像平均仅需 0.35 个标注，即可标注到 80% 的 top-1 准确率，相比之前的工作和手动注释，分别提高了 2.7 倍和 6.7 倍。

    Apr, 2021

  • AutoWS: 文本分类自动化弱监督框架

    提出了 AutoWS 框架用于增加弱监督过程的效率，减少对领域专家的依赖性，使用少量标记的实例和自动创建标注函数的方法来指定嘈杂标签，然后通过一个下游歧别分类器将其聚合成概率标签。

    Feb, 2023