ICLRJun, 2020

MCAL：最小成本人机主动标注

PDF
TL;DR本文提出了一种迭代方法，通过联合确定用人工分标注哪些样本和用训练有素的分类器进行标注哪些样本来最小化总体成本，从而解决通过云端注释服务生成数据集的成本过高的问题。作者在 Fashion-MNIST、CIFAR-10、CIFAR-100 和 ImageNet 等公共数据集上验证了该方法，并表明其总成本比完全使用人工标注数据集的成本低 6 倍，且始终比最便宜的竞争策略便宜。
ground-truth generationhybrid human-machine labelingclassifier trainingiterative approachcost minimization
发现论文，激发创造
  • 大规模图像分类数据集高效标注的良好实践

    本文研究了一种高效的策略收集多类别图像集的分类标签，使用自监督学习技术并将标注问题视为半监督学习问题，并提出了有效的标注指南，用此方案对 ImageNet100 图像集进行模拟实验，结果表明每张图像平均仅需 0.35 个标注，即可标注到 80% 的 top-1 准确率，相比之前的工作和手动注释，分别提高了 2.7 倍和 6.7 倍。

    Apr, 2021

  • 高级交互式人机学习界面用于收集和学习复杂的注释

    本文旨在通过为二分类任务提供人机学习界面，使人类注释者能够利用反事实例来补充标准的二分类标签，以缓解人类注释者适应传统标签所施加的限制。

    Mar, 2024

  • 超越主动学习：通过自动标注、人工修正和人工验证充分发挥人类互动的潜力

    提出了一种名为 CLARIFIER 的交互式学习框架，它利用自动化标签建议和不同难度级别的数据实例，实现更有效地利用人类交互以提高主动学习的性能。

    Jun, 2023

  • 利用人机交互提升计算机视觉数据集质量

    本研究引入了一个轻量级、用户友好、可扩展的框架 “Multilabelfy”，通过人机智能的协同作用，实现了高效的数据集验证和质量提升，同时突出了多标签占比的重要性，发现 ImageNetV2 数据集中约 47.88% 的图像包含至少两个标签，这凸显了对这类有影响力的数据集更严格评估的需求，并揭示了潜在标签数与模型准确性之间的负相关关系。

    Jan, 2024

  • 人机协作快速土地覆盖制图

    研究提出了一种将人类标注者引入模型微调系统中，以提供即时反馈的框架，实现了交互式查询模型预测结果、选择哪些数据标记并查看其对模型预测结果的影响等功能，该框架在各个领域都有应用潜力。

    Jun, 2019

  • H-COAL：用于生物医学命名实体识别的 AI 生成标签的人工校正

    通过对 AI 生成的标签进行选择性校正，可以减少人力成本，并达到与完全人工标注相媲美的性能表现。研究结果显示，校正 5% 的标签可以使 AI 和人工表现的差距相对改善 64%；校正 20% 的标签可以相对改善 86%。

    Nov, 2023

  • 标签并不平等：训练物体检测的标签成本合理化

    本文提出了一个统一的主动学习框架，并考虑到了检测器的不确定性和鲁棒性，从而保证了网络在所有类中的良好表现，并利用自动标注抑制潜在的分布漂移，提高了模型的性能。实验表明，我们的方法在 PASCAL VOC07+12 和 MS-COCO 上始终优于广泛应用的主动学习方法，在 mAP 上提高了 7.7%, 或在标注成本上降低了 82%。

    Jun, 2021

  • 计算立场检测的多标签和多目标机器注释采样

    研究了利用大型语言模型进行自动标注来进行计算立场检测，引入了多标签和多目标采样策略以优化标注质量，实验证明该方法能明显提高性能和学习效果。

    Nov, 2023

  • 无需人类注释的有益标注

    该研究提出了一种利用影响函数来选择最有信息量样本和分配相关标签的自动标注方法，以替代传统的人工标注方法，并且在九个基准数据集上的实验证明了该方法在主动学习策略中的优越性能。此外，研究还对大型语言模型 (LLM) 的 fine-tuning 进行了深入探索和实际应用。

    May, 2024

  • 基于视觉丰富的文档提取模型数据标注成本的显著降低

    提出使用选择性标注结合主动学习的方法，以简化对可预测提取的样本进行标注的成本，实验证明相比全额标注，该方法可将成本降低 10 倍同时精度不受影响，并且适用于不同领域的文档。

    Oct, 2022