ECCVSep, 2020

通过视觉匹配实现自适应文本识别

PDF
TL;DR该研究旨在解决文档中的文本识别的泛化和灵活性问题。该研究提出了一种新模型，通过利用语言中字符的重复性，将文本识别转化为形状匹配问题，从而实现了外观的泛化和分类的灵活性。该模型可以解决传统架构无法解决的挑战，并在不同字母表的合成和真实数据集上进行了评估，得到了显著的改进。
text recognitionmodelgeneralizationflexibilityrepetitive characters
发现论文，激发创造
  • 文本匹配作为图像识别

    本研究提出了一种将文本匹配建模为图像识别问题的方法，即通过构造匹配矩阵并利用卷积神经网络捕捉匹配模式，以此提高匹配准确度，并通过实验证明了该方法的优越性。

    Feb, 2016

  • 朝未知前进：通过从错误中提炼来进行迭代文本识别

    本文提出了一种新的框架来解决计算机视觉中的视觉文本识别问题中的 “未见过” 的字符序列问题，并使用一种独特的交叉模态变分放编码器作为反馈模块来实现这一目标，在一些基于共同数据集的实验中具有较强的性能。

    Jul, 2021

  • 文本自适应的多视觉原型匹配用于视频检索

    本文提出了一种文本自适应多视觉原型匹配模型，通过自适应聚合视频标记特征来描述视频，以解决视频和文本之间的关联模糊问题，而且此方法表现优于当前公共视频检索数据集上的最新技术。

    Sep, 2022

  • 通过图像文本转换实现更好文本理解

    本文探讨了将视觉信息与文本表示相结合的模型，通过 comprehensive ablation studies，我们提出了一种简单但表现突出的架构，相对于其他的 multimodal approaches，在若干基准测试中取得了更好的成绩。同时在使用数量级更少的数据时，也改进了与图像相关的文本数据集的最新成果。

    May, 2017

  • 通过生成模型改进文本 - 视觉交叉检索：观察、想象和匹配

    本文提出一种新的跨模态检索方法，利用生成式模型学习多模态数据的全局和本地特征，从而在 MSCOCO 数据集上实现了最先进的跨模态检索结果。

    Nov, 2017

  • 通过拼写学习阅读：迈向无监督文本识别

    该论文提出了一种无需配对监督数据进行视觉文本识别的方法，通过从给定的文本图像中预测字符串的条件概率与从目标语料库中抽样的合法字符串进行对齐，从而实现完全自动化和无监督学习，并消除了大型对齐数据集的需求，同时在合成和真实印刷书籍的扫描图像上实现了出色的文本识别准确性。

    Sep, 2018

  • i 还是 l：文本行识别模型的测试时间适应

    通过自我训练在测试时间适应模型的方法，在多个基准数据集和其受损版本上进行了严格评估，实验证明这种自我训练的方法在几次迭代后可以将字符错误率绝对改进高达 8%。

    Aug, 2023

  • 基于字符的模型提升视觉文本渲染质量

    本研究探讨了影响当前图像生成模型难以可靠地生成良好文本图像的主要因素：流行的文本到图像模型缺乏字符级输入特征，这使得更难以预测一个单词的视觉构成为一系列字形。通过对比具有字符感知的与不具有字符感知的文本编码，我们在文本域内发现字符感知的模型在拼写任务上提供了巨大的收益。转化这些经验到图像领域，我们训练了一套图像生成模型，并表明在一系列的新文本渲染任务（我们的 DrawText 基准测试）上，字符感知的变体优于其字符盲的对手。尽管训练样本数量少得多，我们的模型在视觉拼写上设置了更高的最新水平，在罕见单词上比竞争对手多 30 多个点的准确率提升。

    Dec, 2022

  • 朝着无约束的端到端文本检测

    一项新的网络模型使用实例分割方法和注意力模型识别和提取曲线形状的文本内容，并使用多步光学字符识别引擎提高识别准确性，大幅度领先现有模型的准确性。

    Aug, 2019

  • 图像 - 文本匹配的先进多模态深度学习架构

    利用创新的跨模态关注机制和分层特征融合策略，将深度神经网络的高级抽象表示能力与自然语言处理模型的文本语义理解优势相结合，以实现图像和文本之间的深度融合和双向交互的多模态深度学习架构。实验证明，与现有的图像和文本匹配模型相比，优化后的新模型在一系列基准数据集上表现出显著的性能提升，并且在面对以前未见过的复杂情况时也能保持较高的匹配性能。

    Jun, 2024