LMC:基于交叉评估的大型模型协作的训练免费开放集物体识别
使用卷积神经网络,结合误差嵌入器和解码器的多任务学习方法来提高开放式图像识别准确度,同时使用极值理论来模拟未知类别的误差,实验结果表明此方法优于现有的开放式识别算法。
Mar, 2019
本文介绍了 OmniScient 模型(OSM)作为解决物体本地化和识别的挑战的一种新颖的基于大型语言模型(LLM)的掩模分类器,通过以生成方式预测类标签,并在没有人为干预的情况下实现跨数据集训练,并展示了其在处理新概念中的有效性。
Nov, 2023
视觉语言模型 (Vision-Language Models, VLMs) 不是开放集模型,因为它们通过有限的查询集引入了闭合集的假设,使其容易受到开放集条件的影响。我们系统地评估了 VLMs 在开放集识别方面的表现,发现它们经常错误地分类不在查询集中的对象,导致在高召回率和高精度调优时出现令人担忧的低精度。我们表明,简单增加查询集的大小以包含更多类别并不能解决这个问题,反而会导致任务性能和开放集性能下降。我们为 VLMs 时代建立了开放集问题的修订定义,定义了一个新的基准和评估协议,以促进在这一重要领域的标准化评估和研究,并在一系列 VLM 分类器和物体检测器上评估了有前景的基线方法,基于预测不确定性和专用负向嵌入。
Mar, 2024
通过无监督的深度度量学习方法,本文提出了一种新颖的混合比例分组的无监督协同度量学习方法 (MS-UGCML),用于学习不同尺度对象的嵌入表示。同时,通过利用 COCO 2017 和 VOC 2007 数据集,组装了一套挑战集,以促进通用对象检索模型的训练和评估。综合评估表明,我们的无监督 MS-UGCML 方法在对象级别和图像级别的 mAP 提升了 6.69% 和 10.03%。
Mar, 2024
本文提出一种通过自我监督来显式地建模物体结构的方法,使物体识别的主干网络在不需要额外注释和推理速度成本的情况下大幅度提高鲁棒性并实现更好的表示学习。实验结果表明,该方法在多项基准测试(包括 ImageNet、CUB、Cars 和 Aircraft)上均取得了显著的性能提升。
Mar, 2020
本文提出了一种名为 CROSR 的新型开放式识别深度学习网络方法,其不仅具有良好的未知类别检测和已知类别分类准确性,而且在多种标准数据集上的实验结果表明其优于其他现有的深度开放式分类器,并且具有鲁棒性。
Dec, 2018
利用 LORD 框架在分类器训练过程中明确建模了开放空间,通过三种模型不可知的训练策略提高了对未知数据的识别,并探索了将混合作为数据生成技术的可行性。
Aug, 2023
提出了一种使用自然语言监督学习从配对的图像文本数据中直接学习的新型开放词汇目标检测框架,通过将对象 - 语言对齐形式化为一个图像区域特征集合和一个词向量集合之间的集合匹配问题,可以更简单和有效地在图像 - 文本对上训练开放词汇对象探测器,并在两个基准数据集上进行了广泛的实验,在 LVIS 等新类别上实现了 32.0%的 mAP 和 21.7%的掩膜 mAP 等卓越性能。
Nov, 2022
通过利用机械特性进行开放式识别,我们提出了一个开放式识别框架,用于识别已知对象并逐步标记新对象。主要贡献是一种利用已知对象知识估计聚类中心和大小的聚类算法,与典型随机选择聚类中心和大小的算法不同。该框架通过与实际对象的交互估计机械特性进行验证,结果表明该框架比新颖性检测器提供的其他方法更好地识别对象,而且我们的聚类算法表现出更好的聚类性能。此外,超参数研究表明聚类大小对聚类结果很重要,需要适当地进行调整。
Nov, 2023
研究开放式长尾识别(OLTR)算法,该算法需能在学习具有长尾分布的数据、分类多数和少数类别以及识别未知类别的情况下优化分类准确率,采用动态元嵌入技术实现快速识别,对三种数据集进行的实验结果表明,该算法在 OLTR 领域已处于领先地位。
Apr, 2019