Apr, 2023

OTS：一种用于历史手稿文本定位的单次学习方法

PDF
TL;DR通过一种新颖的一次学习文本定位方法，即 One-shot learning-based Text Spotting (OTS) 方法，该方法结合了认知研究中的方法，通过空间对齐模块来找到并学习查询图像中最具有区分性的空间区域。同时，引入一种名为环形损失（Torus loss）的新型损失函数，使得嵌入距离空间更具有区分性。我们自己创建了包含古代东巴象形文字的手稿数据集，并在公开数据集上进行了实验，结果表明该方法在一次性文本定位方面优于现有方法。通过 OTS 方法，有望在历史手稿文本识别方面有更好的应用。
one-shot learningtext spottingspatial alignmenttorus lossmanuscript dataset
发现论文，激发创造
  • FOTS: 基于统一网络的快速文本定位

    此篇论文介绍了一种基于 Fast Oriented Text Spotting (FOTS) 网络的端到端可训练的文本检测和识别方法。使用 RoIRotate 的共享计算和视觉信息策略获得了比两阶段方法更优越的表现，并且提出的方法在 ICDAR 2015、ICDAR 2017 MLT 和 ICDAR 2013 数据集上的实验结果表明其性能显著优于先前的最先进方法。

    Jan, 2018

  • 用于联合文本检测与布局分析的层级文本识别

    我们提出了一种名为层级文本识别器（HTS）的新方法，用于识别图像中的文本并确定其字符、单词、行和段落的四级层级结构。HTS 通过两个新颖组件实现：(1) 统一检测器多边形（UDP），可以生成文本行的贝塞尔曲线多边形以及用于检测线之间自然分组的亲和矩阵；(2) 行 - 字符 - 单词（L2C2W）识别器，可以将行分割为字符，再将它们组合成单词。HTS 在多个单词级文本识别基准数据集以及几何布局分析任务中取得了最先进的结果。

    Oct, 2023

  • 通过阅读顺序估计和动态采样实现类似逆操作的场景文本定位

    提出了一种统一的端到端可训练的反向场景文本检测框架，通过创新的阅读顺序估计模块 (REM)、轻量级边界精化模块 (BRM) 和动态采样模块 (DSM) 实现了对复杂布局的反向场景文本的有效识别。

    Jan, 2024

  • SPTS：单点文字定位

    提出了一种新的场景文本识别方法，使用单点标注替代昂贵的边界框标注，将场景文本定位和识别视为序列预测任务，并使用自回归 Transformer 模型预测序列，可达到最先进的识别效果。

    Dec, 2021

  • 使用多任务变压器实现弱监督文本识别

    介绍一种基于 transformer 的文本定位方法 TextTranSpotter (TTS)，该方法可以在全监督和弱监督的情况下训练，并使用基于 Hungarian loss 的新型损失函数，不需要昂贵的本地化注释，通过每个单词检测学习单一潜在表示，实现了与先前最先进的全监督方法相当的性能。

    Feb, 2022

  • 高效利用语言先验进行场景文本定位

    通过利用大型文本语料库中的语言知识，替换自回归场景文本定位和识别模型中传统的独热编码，提高了场景文本定位和识别性能，并实现了更准确的词语定位。

    Feb, 2024

  • 在自然场景中检测任意形状文本的方法，改进文本识别

    提出了一种基于流水线的文本识别框架 UHTA，其中包括用于检测的 UHT 和用于识别的 ASTER。在多个公共场景文本检测数据集上的实验结果表明，UHT 在检测自然场景图像中文本方面具有较好的性能和通用性。

    Nov, 2019

  • 具有几何先验的变形鲁棒文本识别

    通过构建具有形状变形和字体多样性的中国艺术数据集，提出了一种变形鲁棒的文本定位方法 (DR TextSpotter)，该方法利用几何先验模块和图卷积网络融合字符特征和标记特征，并进行语义推理以增强对不同字符的区分，实验证明了该方法的有效性。

    Aug, 2023

  • 从有缺陷的数据中学习：弱监督的自动语音识别

    使用 Omni-temporal Classification（OTC）训练自动语音识别（ASR）模型，可以有效地学习语音文本对齐并适应训练文本中的错误，从而避免在包含高达 70% 错误的文本情况下出现性能下降，与 CTC 模型完全失败的情况不同。

    Sep, 2023

  • M3SOT：多帧、多场、多空间的 3D 单目标跟踪

    3D 单目标跟踪是计算机视觉的前沿任务之一，本研究提出了一种基于点云的全新 3D 单目标跟踪框架 M3SOT，通过多个输入帧、多个感受野和多个解决空间的协同作用，从点云中直接建模时间性、上下文信息和任务，以实现高效的目标跟踪应用。M3SOT 的实验表明，在 KITTI、nuScenes 和 Waymo Open Dataset 等基准上，其性能达到了最先进的水平，帧率达到了 38 帧每秒。

    Dec, 2023