Oct, 2022

利用人类判断的歧义图像进行强化视觉事件分类

PDF
TL;DR本文提出了一种制作模糊图像数据集的方法，并使用此数据集评估现有视觉事件分类模型。实验结果表明，现有的视觉模型无法针对模糊图像提供有意义的输出，因此需要更多类似模糊图像数据集的创造和模型的研究。
ambiguous imagessquid-ehuman uncertaintyvisual event classification modelsmodel calibration
发现论文，激发创造
  • 机器视觉模型中的歧义问题：政策建议

    本文探讨了机器视觉的图像标签中主观人类判断的三大影响源 —— 图像标签描绘、评定者背景与任务定义，提出了处理机器学习数据集中的标签歧义的最佳实践。

    Jun, 2023

  • 人类不确定性使分类更加健壮

    本文通过训练具有反映人类知觉不确定性的完整标签分布来解决深度神经网络在泛化和鲁棒性方面存在的问题，并呈现了一个新的基准数据集 CIFAR10H。实验结果表明，基于该数据集的显式训练可以实现深度学习分类器具有人类的不确定性，并提高模型泛化性和抵御对抗攻击能力。

    Aug, 2019

  • InViG: 针对 500K 人机交互的交互式视觉锚定基准评估

    大规模的互动视觉消除歧义和接地数据集通过开放性目标导向的消歧对话提供了针对人机交互中的歧义性行为的实用且具有挑战性的评测基准。

    Oct, 2023

  • 通过混淆和无知的证据建模进行灵活的视觉识别

    在本文中，我们提出使用主观逻辑的理论来明确建模确定的预测不确定性和未知类别样本预测的忽略现象，并通过预测 Dirichlet 浓度参数来实现综合的主观意见，通过一系列实验证明了我们的方法在量化两种不确定性源和处理灵活识别方面的有效性。

    Sep, 2023

  • 歧义标注：何时不是行人？

    通过排除高度模棱两可的数据，在自动驾驶数据集的标注中探究标注的模糊性，可以提高最先进行人检测器的模型性能，从而节省训练时间和标注成本，并确保训练数据的代表性。

    May, 2024

  • 人类和语言模型中的任务歧义

    研究语言模型在模糊任务中的表现，提出新的 AmbiBench 测试集进行评估，并发现 175B 参数的模型和使用人类反馈数据进行训练可以在模糊分类任务上超过或接近人类的准确度，但仅有其中一个是不足的。同时，通过在少量模糊上下文示例上微调，可以显著提高没有大规模人类反馈训练的语言模型的准确性，为教授模型有效地处理模糊性问题提供了有希望的方向。

    Dec, 2022

  • XIMAGENET-12：一个可解释的 AI 基准数据集用于模型鲁棒性评估

    为了解决标准化鲁棒性评估指标缺乏和过多无关基准数据集的问题，我们引入了 XIMAGENET-12，一个可解释的基准数据集，包含 20 万多张图像和 15,600 个手动语义注释。同时，我们提出了一个新的鲁棒性评估标准，超越了模型生成能力的评估。研究人员和从业者可以利用这个资源，在具有挑战性的条件下评估他们的视觉模型的鲁棒性，并从实际的计算机视觉系统需求中受益。

    Oct, 2023

  • 揭示人类报告偏差：基于嘈杂人为标签的视觉分类器

    本文主要研究利用人类标注的图片标签和关键词数据训练图像分类器，同时探究人类报告偏差并提出算法来提高分类和描述的效果。

    Dec, 2015

  • 确信的不确定性：一种用于多模态认知和随机意识的基准和度量

    在本文中，我们针对视觉 - 语言人工智能系统提出了关于不确定性的分类法，区分了由于信息缺乏而产生的认识不确定性和由于固有不可预测性而产生的因果不确定性，并进一步探讨了更加精细的分类。基于这个分类法，我们构建了一个对比性数据集 CertainlyUncertain，其中包含 178K 个视觉问答样本，通过对图像进行修复使原本可以回答的问题变为不可回答，并利用图像标题来引发大型语言模型回答可回答和不可回答的问题。此外，我们引入了一项新的指标 —— 置信加权准确率，它与准确率和校准误差都具有很好的相关性，以解决现有指标的不足之处。

    Jul, 2024

  • 评估现实世界问题图片质量问题

    本研究介绍了一个新的大规模数据集，将图像质量问题的评估与图像字幕和视觉问答两个实际任务联系起来，并发挥了关键作用，包括新问题和算法，以决定图像是否足够质量以对其进行字幕制作，并确定图像包含的质量缺陷以及决定视觉问题是否无法回答，通过公开分享数据集和代码来促进未来的这项工作扩展。

    Mar, 2020