Feb, 2022

使用多任务变压器实现弱监督文本识别

PDF
TL;DR介绍一种基于 transformer 的文本定位方法 TextTranSpotter (TTS)，该方法可以在全监督和弱监督的情况下训练，并使用基于 Hungarian loss 的新型损失函数，不需要昂贵的本地化注释，通过每个单词检测学习单一潜在表示，实现了与先前最先进的全监督方法相当的性能。
text spottingtransformer-based approachweakly-supervisedhungarian lossstate-of-the-art
发现论文，激发创造
  • SwinTextSpotter: 基于更好的文本检测与识别协同的场景文本定位

    本文提出了一种使用 transformer encoding 的新型端到端场景文本识别框架，并通过一种新的识别转换机制，在不需要额外的矫正模块或字符级别注释的情况下显式地引导文本定位，从而使该方法在多种数据集上显著优于现有方法。

    Mar, 2022

  • ESTextSpotter：基于 Transformer 的场景文字定位的显式协同

    基于显式协同的文本识别 Transformer 框架 (ESTextSpotter) 在文本检测和识别中，通过建模区分性和交互特征，明显提高了性能。

    Aug, 2023

  • TextFormer：一种基于查询的端对端 混合监督文字定位器

    TextFormer 提出了一种使用 Transformer 架构实现的查询式端到端文本定位算法，采用多任务建模的联合语义理解，并通过自适应全局聚合模块处理任意形状的文本，通过弱监督和全标注的语料库信息提升检测和端到端文本定位结果，实现了在双语数据集上的显著优势。

    Jun, 2023

  • SPTS：单点文字定位

    提出了一种新的场景文本识别方法，使用单点标注替代昂贵的边界框标注，将场景文本定位和识别视为序列预测任务，并使用自回归 Transformer 模型预测序列，可达到最先进的识别效果。

    Dec, 2021

  • 自然场景下端到端文本识别

    该研究提出了一种统一的网络，同时定位和识别文本，通过使用卷积特征和 $2$D 注意力模型实现对任意形状文本的鲁棒定位和识别，避免了中间过程，取得了包括正常及不规则文本在内的多个标准数据集的最佳表现。

    Jun, 2019

  • 使用 Transformer 进行端到端的视频文本识别

    本研究基于 Transformer 序列建模，提出了一个简单而有效的端到端视频文本识别框架 TransDETR，它能够同时处理文本检测、跟踪和识别，通过两个主要优点：1) 在长序列中使用文本查询跟踪和识别每个文本，2) 在四个视频文本数据集上验证 TransDETR 具有最先进的性能，其中视频文本识别任务性能提高了 8.0％左右。

    Mar, 2022

  • 利用多语言数据集进行预训练的能力：提升文本定位性能

    基于中间表示的领域自适应场景文本识别模型，以达到在各个领域中的高准确性和高效率。

    Oct, 2023

  • SwinTextSpotter v2：场景文字识别的协同优化

    SwinTextSpotter v2 是一个新的端到端场景文字识别框架，通过引入 Recognition Conversion 和 Recognition Alignment 模块来加强文本检测和识别之间的关系，从而在各种多语言基准测试中取得了最先进的性能。

    Jan, 2024

  • 一种端到端的文本识别器：显式对齐与注意力机制

    该研究提出了一种简单有效的框架，可以同时处理文字检测和识别，其中利用了新颖的文本对齐层、字符空间信息作为显式监督和端到端可训练的模型。通过联合培训，该方法在两个数据集上实现了新的最先进检测性能和表现提高。

    Mar, 2018

  • 文本检测变形金刚

    本文提出了一种名为 TESTR 的通用的基于 Transformers 的端到端的文本检测与识别框架，其有效地解决了曲线文本框表示所需要的特殊关注的问题，并在曲线和任意形状的数据集上展现出最先进的性能。

    Apr, 2022