基于类别感知的文本场景识别的掩膜引导特征细化

Feb, 2024

基于类别感知的文本场景识别的掩膜引导特征细化

Class-Aware Mask-Guided Feature Refinement for Scene Text Recognition

Mingkun Yang, Biao Yang, Minghui Liao, Yingying Zhu, Xiang Bai

TL;DR提出了一种名为 Class-Aware Mask-guided feature refinement（CAM）的新方法来改善复杂背景、文本样式噪声等方面对场景文本识别的挑战，并通过标准字体生成规范的类感知字形掩码来增强特征区分性、设计特征对齐和融合模块来进一步提升文本识别的特征细化。在六个标准文本识别基准测试中，CAM 展示出优于先进方法的优势，平均性能提高了 4.1％，并且使用较小的模型尺寸。该研究强调了在鲁棒场景文本识别中融入规范的掩码指导和对齐特征细化技术的重要性。

Abstract

scene text recognition is a rapidly developing field that faces numerous challenges due to the complexity and diversity of scene text, including complex backgrounds, diverse fonts, flexible arrangements, and accidental occlusions. In this paper, we propose a novel approach called Class

scene text recognition class-aware mask-guided feature refinement canonical class-aware glyph masks feature alignment and fusion module text recognition benchmarks

发现论文，激发创造

用高斯约束的注意力网络进行场景文本识别

提出一种基于高斯约束注意力网络的场景文本识别方法，用于处理现有注意力机制中的注意扩散问题，从而提高了识别网络的性能。

Oct, 2020

基于字符锚点池化的场景文本识别灵活特征获取新视角

提出了一对耦合模块，即 Character Anchoring Module（CAM）和 Anchor Pooling Module（APM），用于从二维空间中提取高级语义以形成特征序列并获得序列学习，通过此提出的模块，在不规则和不同角度场景中对文本进行了识别，并在 ICDAR 2015 数据集上超越了先前的最高分数。

Feb, 2020

利用多细粒度环境特征聚合提高基于标题监督的人脸识别

引入了一种基于描述指导的人脸识别（CGFR）框架来提高商品化人脸识别系统（COTS FR）性能，通过引入面部描述信息作为辅助信息来改善性能，通过使用上下文特征聚合模块（CFAM）和文本特征细化模块（TFRM）来有效地处理文本和面部特征间的异构性，显著提高了 ArcFace 在多模态 CelebA-HQ 数据集上的验证和识别性能。

Aug, 2023

MOST: 一种用于多方向场景文本检测的本地化精炼方法

本研究提出了一种用于场景文本检测的新算法，其中提出了一组策略来显着提高文本定位的质量。具体而言，提出了一种文本特征对齐模块（TFAM），用于根据初始原始检测动态调整特征的感受域；设计了一种位置感知非极大值抑制模块（PA-NMS）来选择性地集中于可靠的原始检测，排除不可靠的检测，此外还提出了一种实例 IoU 损失来平衡针对不同比例的文本实例的训练。通过广泛的消融研究，证明了所提出策略的有效性和优越性。最终，将这些策略与业内领先的场景文本检测器 EAST 集成，实现了在保持快速运行速度的同时，达到了各种标准文本检测基准上的最新或有竞争力的性能。

Apr, 2021

多粒度跨模态对比学习下的文本引导人脸识别

通过引入面部属性和语义信息，以提高在低质量图像中进行面部识别的性能为目标，本文介绍了一种名为文本引导的面部识别（TGFR）方法，通过跨模态对齐和融合模块，以及面部特征和文本特征的优化，实现了显著的性能提升。

Dec, 2023

利用视觉感知文本特征改进指代图像分割

提出一种名为 VATEX 的新框架，通过使用视觉感知文本特征来改进指代图像分割，在复杂场景中，通过将视觉特征与文本描述相结合，使用 CLIP 来生成初始查询，然后通过上下文理解来强制执行文本变体之间的特征相似性，并保证了语言表达的一致解释。该方法在三个基准数据集 RefCOCO、RefCOCO + 和 G-Ref 上取得了显著的性能改进。

Apr, 2024

基于文本注意力的卷积神经网络用于场景文本检测

本文提出了一种基于卷积神经网络的文本 - 卷积神经网络 (Text-CNN) 用于场景文本检测的系统，并通过多层和丰富的监督信息，包括文本区域掩模、字符标签和二分类文本 / 非文本信息来训练 Text-CNN 以提高其判别效能和鲁棒性。最终，该方法在 ICDAR 2013 数据集上取得了很好的效果。

Oct, 2015

场景感知特征匹配

该研究提出了一种名为 SAM 的新模型，应用注意力分组指导场景感知特征匹配，处理具有大视角和光照变化等挑战性场景。通过引入感知感觉的分组指导，该模型不仅更准确和稳健，而且更易解释，实现了最先进的性能。

Aug, 2023

从二维视角进行场景文本识别

采用二维视角，提出了基于字符注意力全卷积网络的场景文本识别算法，该算法在语义分割网络中采用了字符注意机制和词形成模块，在不失精度的情况下更具有鲁棒性。

Sep, 2018

文本检测的字符区域认知

提出了一种使用神经网络 2 来检测场景文本的新方法，在字符级别推断文本区域，采用新的关联表示法来估算字符背景。通过使用合成图像的给定字符级别注释和学习的中间模型获得的真实图像的估计字符级别地面真实性，也解决了缺少单独字符级别注释的问题，在 6 个基准测试上广泛的实验中，包括在自然图像中包含高度曲线文本，如 TotalText 和 CTW-1500 数据集，证明了我们的字符级文本检测比最先进的探测器显着优越。根据结果，我们的方法保证了在检测复杂的场景文本图像（如任意定向，曲线或变形文本）方面具有高度的灵活性。

Apr, 2019