Oct, 2021

具有深度特征正交性和混合 Swin 转换器的高效大规模图像检索

PDF
TL;DR我们提出了一种高效的端到端管道，用于大规模地标识别和检索，演示如何结合和增强最近图像检索研究中的概念并介绍两种特别适用于大规模地标识别的架构：深度正交融合的全局和局部特征模型（DOLG）使用 EfficientNet 骨干和一种新的混合 Swin 变换器，讨论了如何使用逐步方法高效地训练两种架构，并提供了一个具有动态边缘的子中心 Arcface 损失，此外还详细阐述了一种新的判别式重新排名方法用于图像检索，我们的方法通过赢得 Google Landmark 竞赛 2021 的识别和检索赛道证明了其卓越性。
landmark recognitionimage retrievaldeep orthogonal fusionefficientnethybrid-swin-transformer
发现论文，激发创造
  • 大规模地标检索的两阶段鉴别重排

    本文提出了一种通过两阶段鉴别性重新排列解决数据集多样性问题的大规模地标图像检索的有效流程，该方法基于使用余弦 softmax 损失训练的卷积神经网络嵌入特征空间中的图像，通过 $k$ 最近邻搜索和软投票对检索结果进行排序，然后通过从未通过图像相似性检索的数据集中添加附加样本的方式进行插入，以克服检索图像的低视觉多样性。经过深入的实验结果表明，所提出的方法在挑战性的 Google Landmarks 数据集上明显优于现有的方法。

    Mar, 2020

  • 图像搜索中深度局部和全局特征的统一

    该文提出了一个名为 DELG 的新模型，将全局和本地特征统一为一个深度模型，同时提出了一种自编码器的降维技术，该模型在图像检索和识别方面的表现都达到了最新的水平。

    Jan, 2020

  • 具关注力的深度局部特征进行大规模图像检索

    我们提出了一种基于卷积神经网络的关注局部特征描述符 DELF，它可以作为关键点探测器和描述符的一种替代品，能够产生可靠的置信度得分，能够有效地进行图像检索。我们对 Google-Landmarks 数据集进行了测试，结果表明 DELF 在大规模情况下优于最先进的全局和局部描述符。

    Dec, 2016

  • 使用域外样本支持大规模图像识别

    提出了一种高效的端到端方法，用于标注和排序地标图像，采用卷积神经网络将图像嵌入到高维特征空间，并使用视觉相似性分类图像，采用相似性重新排名预测，过滤噪声。使用该方法在 2020 年的 Google 地标识别挑战赛中获得了第一名。

    Oct, 2020

  • DOLG: 深度正交局部和全局特征融合的单阶段图像检索

    本文提出了一种深度正交局部全局信息融合框架（DOLG），通过一步到位的方式将图像的本地信息和全局信息结合起来，有效地解决了图像检索中的相关问题，该模型在经过广泛实验验证后，表现出良好的检索效果。

    Aug, 2021

  • 深度图像检索：学习全局图像表示以用于图像搜索

    本文提出了一种新方法进行实例级别的图像检索，通过聚合多个基于区域的描述符为每个图像生成全局紧凑的固定长度表示，该方法基于一个特定图像检索任务训练的深度架构，利用排序框架来学习卷积和投影权重，并采用区域建议网络来学习应汇集哪些区域以形成最终的全局描述符。

    Apr, 2016

  • DIAR：基于 Swin Transformers 的深度图像对齐与重建

    利用深度学习管道，同时对一系列畸变图像进行对齐和重构，并通过 Swin Transformer 模型分析顺序图像数据，通过注意力图检测相关图像内容并与离群值和伪影区分开来，利用神经特征图作为经典关键点检测器的替代方法，从而提供稠密图像描述符以寻找图像间的点对应关系，并运用此来计算粗略的图像对齐并探索其局限性。

    Oct, 2023

  • 大规模嘈杂多样化数据集下的地标检索 / 识别

    smlyaka 团队基于深度卷积神经网络与度量学习构建了一个鲁棒的人工智能系统，这个系统在 Google Landmarks-v2 数据集噪声和多样性较高的情况下表现出更好的识别和检索效果，其包括自动数据清理系统和提高数据区分度的再排序方法，并在 Google Landmark Retrieval 2019 挑战赛中获得了第一名，并在 Kaggle 的 Google Landmark Recognition 2019 挑战赛中位列第三。

    Jun, 2019

  • 图像检索的深度视觉表示端到端学习

    本文针对深度学习在实例级图像检索方面表现不佳的问题，提出了基于大规模嘈杂地标数据集的清洗方法、改进的 R-MAC 描述符、基于三元组损失的孪生网络，并在 Oxford 5k、Paris 6k 和 Holidays 数据集上，分别报告了 94.7，96.6 和 94.8 的平均精度，并通过产品量化处理可以实现图像表示的高度压缩。

    Oct, 2016

  • 利用 EfficientNet 和对比学习进行精准的全球位置估计

    本文提出了一种混合分类 - 检索方案，其中利用 EfficientNet 架构将图像分配到特定的地理单元，并使用训练有素的残差架构将输入图像映射到一个嵌入空间，以最小化相同位置图像的配对测地线距离，然后将两个模块与空间聚类方案相结合，通过搜索 - 单元内的聚合确定最终位置估计。结果表明，该方法的性能非常竞争，在 4 个公共数据集上均能取得新的最优表现。

    May, 2021