Jun, 2017

场景文本识别的视觉注意力模型

PDF
TL;DR本文提出了一种无词典的场景图像文本识别方法，该方法基于一种基于 LSTM 的软视觉注意模型，该模型从卷积特征中学习。通过导出与图像不同区域对应的中间卷积层的一组特征向量，实现了对空间信息的编码，从而使框架能够学习如何选择性地聚焦于图像的不同部分。除此之外，我们还展示了通过将显式语言模型集成到束搜索算法中来修改改良的束搜索算法可以导致更好的识别结果，以标准的 SVT 和 ICDAR'03 场景文本数据集为基础，证明了我们方法在无约束文本识别中的卓越表现。
发现论文，激发创造
  • 使用注意力卷积序列建模技术识别场景文本

    本文提出了基于注意力卷积网络的端到端场景文本识别方法，通过卷积神经网络 (CNN) 代替循环神经网络 (RNN) 来实现输入序列的上下文依赖关系的准确捕捉，提高了识别效率，并结合残余注意力模块进一步提高特征识别的准确性。该方法在多个数据集上验证结果显示了显著的性能优势。

    Sep, 2017

  • FACLSTM: 用于场景文本识别的具有聚焦注意力的 ConvLSTM

    本研究提出了一种基于 ConvLSTM 的场景文本识别器，名为 FACLSTM，该识别器充分利用像素的空间关联和注意机制，通过卷积操作和生成字符中心掩码来帮助聚焦关注正确的特征区域，并在基准数据集 IIIT5K、SVT 和 CUTE 上得到了较好的实验结果。

    Apr, 2019

  • 基于整体表征的引导注意力网络用于场景文字识别

    本研究提出一种基于全局特征引导注意力的二维卷积神经网络和序列解码器来识别场景文本的简单但强大方法，训练时仅使用单词级别的注释，相比循环神经网络，能够在前向和后向传递中获得 1.3x 至 9.4x 不等的加速。在评估的正常和不规则的场景文本基准数据集上实现了最先进或竞争性的识别性能。

    Apr, 2019

  • 基于文本注意力的卷积神经网络用于场景文本检测

    本文提出了一种基于卷积神经网络的文本 - 卷积神经网络 (Text-CNN) 用于场景文本检测的系统，并通过多层和丰富的监督信息，包括文本区域掩模、字符标签和二分类文本 / 非文本信息来训练 Text-CNN 以提高其判别效能和鲁棒性。最终，该方法在 ICDAR 2013 数据集上取得了很好的效果。

    Oct, 2015

  • 使用滑动卷积字符模型识别场景文本

    本文提出了一种基于卷积特征映射中的字符模型的场景文本识别方法，可以避免基于分割的识别方法中的字符分割困难，并且可以识别未知单词，与现有方法相比具有相对较小的模型大小和优秀的性能表现。

    Sep, 2017

  • 基于文本引导的图像字幕注意力模型

    本研究提出了一种基于文本引导注意力模型的图像字幕生成方法，其能够通过联合图片及相应说明文本的训练数据来实现视觉关注，有效地区分图像中的细小或混淆对象，进而在 MS-COCO 图像字幕生成基准测试中获得最佳性能。

    Dec, 2016

  • 融合场景文本与视觉外观进行细粒度图像分类

    本文提出了一种利用场景文本进行图像理解的方法，通过符号识别系统获取识别的单词和深层视觉特征的嵌入组合成一个可通过卷积神经网络进行优化的单一表示形式。通过引入注意力机制强化符号与图像之间的关系，不仅有效地提高分类准确率，而且可较大幅度提升产品图像检索性能。

    Apr, 2017

  • 基于循环发现注意力区域的多标签图像识别

    本文提出了一种利用深度学习技术中的循环记忆 - 关注模块来实现图像多标签分类识别的新方法。通过不使用候选区域提取方法，从卷积特征图中定位注意区域，并使用 LSTM 子网络对这些区域进行语义标记和全局依赖性的序列预测。试验表明该方法在识别准确率和效率上均优于现有技术。

    Nov, 2017

  • 使用视觉注意力进行动作识别

    本文提出一种基于 soft attention 的模型，用于对视频中的动作进行识别，该模型使用多层循环神经网络 (RNNs) 和长短期记忆 (LSTM) 单元，学习有选择地专注于视频帧的某些部分，通过几个瞥见来对视频进行分类。该模型主要学习帧中哪些部分与目标任务相关，并赋予它们更高的重要性。我们在 UCF-11 (YouTube Action)、HMDB-51 和 Hollywood2 数据集上评估了该模型，并分析了模型在不同场景和不同动作下注意力的聚焦。

    Nov, 2015

  • 通过视觉哨兵实现自适应关注的图像字幕

    本文提出了一种新的自适应注意力模型，具有视觉哨兵，在每个时间步骤，模型决定是关注图像还是关注视觉哨兵，通过这种方式针对性地提取有意义的信息以生成图像字幕，实验证明我们的方法在 COCO 图像字幕 2015 年挑战数据集和 Flickr30K 上的效果优越并创造了新的最佳表现。

    Dec, 2016