Sep, 2023

基于众包图像实现大规模建筑属性映射：Flickr 中的场景文本识别及待解决问题

PDF
TL;DR通过 Flickr 图像数据集，在众包平台上使用先前训练好的场景文本识别模型实现建筑属性映射，研究了街景图像中应用场景文本识别的挑战，发现了与该任务相关的问题和挑战，并提出发展不仅限于城市热点区域的城市范围内的映射，同时建议跨学科合作以了解建筑摄影和标注背后的动机。
发现论文，激发创造
  • 重访场景文本识别：基于数据的视角

    本文从数据导向的角度重新评估场景文字识别（STR）。作者重新审视了 STR 中六个常用基准，并观察到性能饱和的趋势，通过 13 个代表性模型，只有 2.91％的基准图像不能被准确识别。然而，作者认为这主要是由于常见基准的挑战程度较低，从而掩盖了 STR 所面临的潜在问题。为了评估 STR 模型在更复杂的真实场景中的表现，作者整理了一个大规模的真实 STR 数据集 Union14M，包括 400 万张带标签图像和 1000 万张未标记图像。实验证明 13 个模型在 400 万张有标签图像上只能达到 66.53％的平均准确率，表明 STR 在真实场景中仍面临许多挑战。通过分析这些模型的错误模式，作者确定了 STR 领域的七个难题，并构建了一个以挑战为驱动的基准，包括八个独立子集，以促进该领域的进一步发展。作者的探索表明，STR 远未解决，并且利用数据可能是一个有希望的解决方案。在这方面，作者发现通过自监督预训练利用 1000 万个未标记图像可以显著提高 STR 模型在真实场景中的鲁棒性，并取得了最先进的性能。

    Jul, 2023

  • 大规模视觉和语言模型的零样本建筑属性提取

    通过使用大规模视觉和语言模型来缓解对外部注释的依赖，我们提出了一种新的零样本建筑属性提取工作流程，包含图像级标题生成和分割级标题生成两个主要组成部分，从而为结构和土木工程领域中的构建属性提取增强了 AI 驱动的标题生成的可行途径，最终减少了对人工注释的依赖并提高了性能和适应性。

    Dec, 2023

  • 基于几何感知的高效文本识别

    本文介绍用于场景文本识别的深度学习架构 GeoTRNet 的概念、理论、实现及实验结果，该架构专用于处理常规场景文本，只使用几何特征识别图像中的数字，具有优异的模型可部署性、数据隐私性、模型可靠性，同时具有最小化模型权重、更短的推理时间等优势。

    Feb, 2023

  • 场景文本识别的数据增强

    该论文使用 STRAug 增强模型，包含 36 个针对场景文本图像属性的图像增强函数，有效地提高了模型对正常和不规则测试数据集的准确度。

    Aug, 2021

  • 仅使用真实数据集进行场景文本识别会发生什么？朝着少标注的场景文本识别

    该研究表明，使用真实标注的数据可以训练文字识别模型，并提出数据增强和半自监督方法来进一步提高性能。

    Mar, 2021

  • AutoSTR: 场景文本识别高效骨干网络搜索

    本文提出了 AutoSTR 来搜索依赖于数据的骨干以增强文本识别性能，实验表明，通过搜索数据依赖的骨干，AutoSTR 可以在标准基准测试中胜过最先进的方法，且 FLOPS 和模型参数更少。

    Mar, 2020

  • 利用街景图像构建实例分类

    本文提出了一种基于卷积神经网络分类个别建筑物功能的方法，该方法利用了遥感图像和街景图像，使用开源地图系统来获取地理信息，并利用创建的基准数据集在加拿大和美国的多个城市进行训练和评估。

    Feb, 2018

  • 场景文本识别模型比较所存在的问题：数据集与模型分析

    本文提出了一种四阶段的场景文本识别模型框架，通过对模型组件的模块化分析，解决了训练和评估数据集的不一致性导致的性能差异问题，为现有模块的深入评估和探索提供了可能。

    Apr, 2019

  • 将场景文本识别器的性能极限推至无需人工注释

    本文介绍了一种利用合成数据和大量真实未标记图像的半监督框架来提高场景文本识别模型性能的方法。该框架基于鲁棒的一致性正则化，有效地解决了合成和真实图像之间的域不一致性问题，并在多项实验中显示出稳定性和准确性，同时提高了场景文本识别模型达到了最新的最优结果，是首个成功应用一致性正则化框架于场景文本识别的方法。

    Apr, 2022

  • 多层次学习融合的场景文本识别预测

    通过结合语言知识和视觉模型，本研究提出了一种基于 Vision Transformer 和 Multi-Granularity Prediction 的 MGP-STR 算法，用于场景文本识别，取得了优异的识别结果。

    Jul, 2023