本文研究了计算机视觉中的标注者一致性对目标检测算法评估的影响，发现不同标注者意见的差异对算法的评估有很大影响，GT的计算方法会对算法性能的排名产生很大的影响甚至可能导致算法性能被高估，且在某些数据集上很难确定一个算法优于另一个算法。

Jul, 2013

本文提出了一种半自动化的物体实例注释方法，通过多边形预测任务将对象分割，使人类标注者能够随时进行干预和纠正，从而实现更快速、更准确的注释过程。

Apr, 2017

本文介绍了一个大规模的遥感图像数据集DOTA，该数据集为地球观测和遥感领域中的目标检测提供了基础，并提出了一种基准模型和评测方法。

Nov, 2017

本文旨在研究深度学习模型中标注数据的影响因素，以及如何通过监测数据标注质量来提高算法精度和准确性。通过多个数据标注实验，作者发现标注过程、训练数据和评估数据等因素是确保 AI 系统可信度的基本要素。

Dec, 2019

本研究通过标注 Dollar Street 图像中的因素，例如颜色、形状和背景，揭示了不同地区、不同收入水平中目标对象之间的差异，证明性能差异是与贴图、遮挡和低照度图像的差异相关联，为提高深度学习系统的性能差异提供了解决思路。

Apr, 2023

该研究通过探究人员标注错误对卷积神经网络在高分辨率卫星图像场景分类上的影响，证明人员标注错误主要来自于类别依赖性错误，而非实例依赖性错误，这种影响类似于几种模拟标注噪音之一，即类别相关性噪音，而非像独立标注错误一样的统一噪音。

May, 2023

本研究关注在自动驾驶领域中经常被忽视的公平问题，特别是在基于视觉感知和预测系统方面，这对自动驾驶车辆的整体运行起着至关重要的作用。我们重点分析了用于训练人和车辆检测系统的一些常用视觉数据集中存在的偏见。我们引入了一种注释方法和一种专门的注释工具，旨在对视觉数据集中的属性进行注释。通过评估一致性和属性在所有数据集中的分布，我们验证了我们的方法。这些属性包括年龄、性别、肤色、群体以及超过90K人的交通方式和超过50K辆车的车辆类型、颜色和车型的注释。大多数属性的多样性非常低，分析的数据集中某些群体，如儿童、轮椅使用者或个人机动车辆使用者，极度缺乏代表性。本研究在评估自动驾驶车辆感知和预测系统中考虑公平性方面做出了重要贡献。本文遵循可重复性原则，注释工具、脚本和注释属性可公开访问。

Dec, 2023

本研究旨在评估标注策略、数据不平衡程度和先前经验对人类标注者表现的影响。实验结果显示，标注者在目标检测任务中的表现优于分割任务，且普遍存在更多的类型II错误，揭示出检测和分割过程中的偏差。这些发现有助于改进遥感研究中的标注策略，以提高训练数据的质量。

Sep, 2024

本研究解决了自动化物体检测中高效、高质量标注的挑战。我们开发了一个交互式平台，允许用户上传和标注图像，并通过半自动的方式优化物体检测模型，从而显著提高标注效率，实验结果显示Semi-automatic标注在时间上节省了多达53%的成本，同时保持或超越了人工标注的准确性。这一研究表明该平台在高质量物体检测数据集创建中的潜力，并为未来标注平台的开发提供了最佳实践指引。

Nov, 2024

该研究探讨了标注小尺寸物体实例的成本效益问题，提出了一个新的研究问题：是否可以用未包含小尺寸实例的训练数据训练出有效的检测器。研究表明，通过在测试时放大输入图像和训练时缩小图像的方法，可以实现与完全训练数据训练的基线检测器相当的效果，从而推动了物体检测训练数据标注的再思考。

Dec, 2024