Jun, 2023

机器视觉模型中的歧义问题：政策建议

PDF
TL;DR本文探讨了机器视觉的图像标签中主观人类判断的三大影响源 —— 图像标签描绘、评定者背景与任务定义，提出了处理机器学习数据集中的标签歧义的最佳实践。
machine learninghuman annotationlabel ambiguityimage labelingsubjective judgments
发现论文，激发创造
  • 利用人类判断的歧义图像进行强化视觉事件分类

    本文提出了一种制作模糊图像数据集的方法，并使用此数据集评估现有视觉事件分类模型。实验结果表明，现有的视觉模型无法针对模糊图像提供有意义的输出，因此需要更多类似模糊图像数据集的创造和模型的研究。

    Oct, 2022

  • 人类标注变异的 ' 问题 '：关于数据、建模和评估中的基础真相

    本文探讨人类标注变异的问题在机器学习中的影响及解决方法，并提供一个包含无聚合标签的公开数据集库以便以后进行研究。

    Nov, 2022

  • 人类和语言模型中的任务歧义

    研究语言模型在模糊任务中的表现，提出新的 AmbiBench 测试集进行评估，并发现 175B 参数的模型和使用人类反馈数据进行训练可以在模糊分类任务上超过或接近人类的准确度，但仅有其中一个是不足的。同时，通过在少量模糊上下文示例上微调，可以显著提高没有大规模人类反馈训练的语言模型的准确性，为教授模型有效地处理模糊性问题提供了有希望的方向。

    Dec, 2022

  • 文本到图像生成模型中的歧义消解：大象会飞吗？

    研究在文本到图像生成模型中出现的歧义问题，通过建立基准数据集，提出一个框架来缓解这些问题，并通过自动和人工评估证明了这个框架的有效性。

    Nov, 2022

  • 人与机器理解之间的不协调性

    通过一项大规模众包研究，本文揭示和量化了通过图像分类任务来人与计算机理解背景的分歧，并回答了哪些复杂机器学习模型更接近于人类使用特征以进行准确预测，任务的难度如何影响机器选择特征的能力，并与人类相比，人类是否一致更擅长选择使图像识别更精确的特征。以上发现对于人机协作具有重要的意义，考虑到人工智能领域的长期目标是使机器能够像人类一样学习和推理。

    Jan, 2021

  • 歧义标注：何时不是行人？

    通过排除高度模棱两可的数据，在自动驾驶数据集的标注中探究标注的模糊性，可以提高最先进行人检测器的模型性能，从而节省训练时间和标注成本，并确保训练数据的代表性。

    May, 2024

  • 数据无罪，模型有责：理解主观标注中的噪声与偏差

    研究人员提高了对聚合标签的伤害的认识，特别是在自然存在人类标注员之间存在分歧的主观任务中。本文展示了仅仅提供聚合标签的模型在高度分歧的数据实例上表现出较低的置信度。我们认为过去的研究将这些实例视为标注错误，但我们认为高度分歧的文本实例难以学习的原因是传统的聚合模型在从主观任务中提取有用信号方面表现不佳。受最近一些研究表明从原始标注中学习的有效性的启发，我们研究了使用多个真实标准的分类方法。我们的实验显示在高度分歧实例上有置信度的提高。

    Mar, 2024

  • 透视者的范式转变：对捕捉人工标签的假设和挑战

    对于机器学习中的数据标注，多年来一直采用从多个标注者那里收集和汇总标签的方法。然而，当标注者不一致时，我们应该怎么办呢？尽管长期以来，标注者的不一致被视为需要最小化的问题，但新的观点主义方法质疑这一假设，将不一致视为宝贵的信息源。本文中，我们研究了有关标注者不一致的实践和假设，一些是受观点主义方法的挑战，一些是待解决的问题，以及基于这些假设进行工作的实际和规范性挑战。我们最后提出了对数据标注流程的建议，并探索与主观性和不一致性有关的未来研究方向。

    May, 2024

  • 揭示人类报告偏差：基于嘈杂人为标签的视觉分类器

    本文主要研究利用人类标注的图片标签和关键词数据训练图像分类器，同时探究人类报告偏差并提出算法来提高分类和描述的效果。

    Dec, 2015

  • 建模协作者：通过 LLM 工具使用实现最小人力投入的主观视觉分类

    通过使用自然语言交互减少人工标记工作量，本研究提出了一个新框架，用于快速定义概念并自动标记训练数据点，从而替代传统的手动分类方法。在 15 个主观概念和 2 个公共图像分类数据集上进行测试，我们的训练模型在敏捷建模以及 ALIGN、CLIP、CuPL 等最新的零样本分类模型以及大型视觉问答模型（如 PaLI-X）之上表现出色。

    Mar, 2024