CVPRMar, 2020

基于语义推理网络的准确场景文本识别

PDF
TL;DR提出了一个新的基于语义推理网络的端到端的可训练框架，用于场景文本识别，其中引入了全局语义推理模块来通过多向并行传输捕获全局语义内容，具有比基于循环神经网络方法更快的速度。该方法在包括正常文本、不规则文本和非拉丁长文本在内的 7 个公共基准上取得了最先进的结果，验证了其有效性和鲁棒性。
scene text recognitionsemantic reasoning networkglobal semantic contextmulti-way parallel transmissionend-to-end trainable framework
发现论文，激发创造
  • 视觉语义提高了场景文本识别中的文本推理水平

    该研究提出了一种基于图卷积网络的文本推理（GTR）方法并将其应用于场景文本识别中，该方法可以利用像素之间的空间关联来提高文本识别的性能，并在六个具有挑战性的基准测试中获得最新的最佳结果。

    Dec, 2021

  • 室内场景识别的语义区域关系模型 (SRRM)

    该研究使用语义信息建立了 “语义区域关系模型”（SRRM），并将其与 PlacesCNN 模块相结合，在 MIT Indoor 67，reduced Places365 数据集和 SUN RGB-D 等数据集上展示了显著的性能优势。

    May, 2023

  • 基于场景文本的知识挖掘用于细粒度识别

    提出了一种可进行场景文字图像语义挖掘、增强细粒度图像分类表示的端到端可训练网络，其通过三种模态：视觉特征提取、文本语义提取和相关背景知识相结合，利用 KnowBert 检索相关知识来进行语义表示，并在 Con-Text 和 Drink Bottle 数据集上实验，证明了该方法的有效性，MAP 分别比现有文献最高提升了 3.72% 和 5.39%。

    Mar, 2022

  • 带有语义指导的高效场景文本图像超分辨率

    本文提出了一种名为 SGENet 的高效框架，旨在满足资源有限平台上部署的实际需求，在场景文本图像超分辨率方面取得了出色的性能

    Mar, 2024

  • 语义感知场景识别

    该论文提出了一种基于多模式 CNN 的场景识别新方法，结合图像和上下文信息，通过注意力机制来强化学习和增强场景的辨别能力，实验证明该方法性能超过所有现有的先进方法，并显著减少了网络参数。

    Sep, 2019

  • 基于场景图的图像 - 文本检索融合网络

    本研究提出了一种基于场景图融合网络的图像 - 文本检索方法，通过内部和交叉模态融合来增强图像 / 文本特征，并采用层次化的融合注意力来将语义信息嵌入到图像 / 文本特征向量之中，进而进行图像 - 文本的检索任务。实验结果表明，本方法相比其他现有技术，在公开数据集 Flickr30K 和 MSCOCO 上取得了更好的效果。

    Mar, 2023

  • 基于场景文本的细粒度图像分类与检索的多模态推理图

    本文采用图卷积网络结合场景文本实例和显著图像区域进行多模态推理，在 Con-Text 和 Drink Bottle 数据集中，在细粒度图像分类和图像检索任务中显著优于之前的最新技术。

    Sep, 2020

  • 端到端可训练的基于图像序列识别的神经网络及其在场景文本识别中的应用

    本文提出了一种新颖的神经网络架构，将特征提取、序列建模和转录集成到统一框架中，用于场景文本识别，相比现有算法其具有端到端训练，不需要一定的词典限制，更加适合实际应用等优点，在标准测试数据上展现出更好的性能。

    Jul, 2015

  • SEE：半监督端到端场景文本识别

    本文提出了 SEE，一个用于自然场景文本检测和识别的半监督神经网络，它能够通过端到端的优化方式实现。相较于现有的多个深度神经网络和多个预处理步骤，SEE 提出了使用单一的深度神经网络的方案，该网络能够学习从自然图像中检测和识别文本，同时我们介绍了我们的新方法并在标准基准数据集上进行了一系列实验，证明了我们方案的可行性以及达到了与现有技术相比的竞争性结果。

    Dec, 2017

  • 图像 - 文本匹配的视觉语义推理

    我们提出了一种简单而易于解释的推理模型，用于生成全局场景的主要对象和语义概念的可视化表示，该模型使用图卷积网络进行关联和推理，再使用门和记忆机制进行全局语义推理，选取判别信息并逐渐生成整个场景的表示；实验证明我们的方法在 MS-COCO 和 Flickr30K 数据集上取得了相对于最佳方法分别为 6.8％和 4.8％的图像检索和字幕检索的新的最佳效果，Flickr30K 数据集上分别提高了 12.6％和 5.8％的图像检索和字幕检索。

    Sep, 2019