ICCVJul, 2021

文本相同，无分别：知识蒸馏统一文本识别

PDF
TL;DR本研究提出了一种知识蒸馏技术来实现场景文本识别（STR）和手写文本识别（HTR）的统一。通过三种蒸馏损失函数的提出，本文所提出的文本识别模型在性能上优于使用 STR 模型或 HTR 模型的单独模型和其他基准线和领域自适应 / 泛化方案。
text recognitioncomputer visionscene text recognitionhandwriting text recognitionknowledge distillation
发现论文，激发创造
  • 一阶段低分辨率文本识别及高分辨率知识迁移

    通过使用新颖的知识蒸馏框架，从高分辨率图像中将知识传递到低分辨率输入，实现了低分辨率文本识别的有效性和效率的显著提升。

    Aug, 2023

  • 场景文本识别模型比较所存在的问题：数据集与模型分析

    本文提出了一种四阶段的场景文本识别模型框架，通过对模型组件的模块化分析，解决了训练和评估数据集的不一致性导致的性能差异问题，为现有模块的深入评估和探索提供了可能。

    Apr, 2019

  • 野外场景中的文本识别：一项调查

    该论文总结了场景文本识别的基本问题和最新技术，提供了相关资源，指出了未来的研究方向。

    May, 2020

  • MetaHTR：面向作者自适应的手写文本识别

    本文提出了一种新颖的元学习框架，该框架可以在推理过程中通过支持集合利用额外的新作者数据并通过单个梯度步更新输出作者自适应模型，这个模型可以在最先进的 HTR 模型之上轻松实现，并且可以在极少的新风格数据下实现平均 5-7% 的性能提升。

    Apr, 2021

  • DiffusionSTR: 场景文本识别的扩散模型

    该论文提出了一种名为 DiffusionSTR 的扩散模型场景文字识别框架，将场景文字识别任务视为图像上的文本 - 文本转换，实现了竞争性的准确性。

    Jun, 2023

  • 朝未知前进：通过从错误中提炼来进行迭代文本识别

    本文提出了一种新的框架来解决计算机视觉中的视觉文本识别问题中的 “未见过” 的字符序列问题，并使用一种独特的交叉模态变分放编码器作为反馈模块来实现这一目标，在一些基于共同数据集的实验中具有较强的性能。

    Jul, 2021

  • 基于文本的知识助力视觉：视频行为预测的简单跨模态蒸馏

    本研究将预训练语言模型中的知识转移应用于视觉模型中，以提高动作预测的效果，实验表明简单的蒸馏技术可以在两个动作预测数据集上实现一定的相对增益。

    Oct, 2022

  • 一个可扩展的手写文本识别系统

    本研究主要解决将手写文本识别能力添加到大规模多语言 OCR 系统中的难点，包括数据获取，效率和集成等三个方面，通过使用在线手写数据集和基于神经网络的线识别模型等方式解决了这些问题，实现了 HTR 能力在 OCR 系统中的集成。

    Apr, 2019

  • 图像 - 文本检索的多模态数据集精炼

    基于轨迹匹配的多模态数据集提炼方法在视觉语言数据集上表现出显著的改进，可通过只用 100 个训练对（数量减少一个数量级）几乎使图像到文本的检索准确率翻倍。

    Aug, 2023

  • 多层次学习融合的场景文本识别预测

    通过结合语言知识和视觉模型，本研究提出了一种基于 Vision Transformer 和 Multi-Granularity Prediction 的 MGP-STR 算法，用于场景文本识别，取得了优异的识别结果。

    Jul, 2023