本文提出了一种基于 Semantic Segmentation 和 RNN-attention 的新方法 TextScanner，用于场景中的文字识别，并在标准基准数据集上得到了最佳结果，尤其是在中文识别方面。

Dec, 2019

本研究提出了一种基于编码器 - 解码器框架的语义增强模型来识别低质量的场景文本，它使用显式的全局语义信息，并将现有的 ASTER 方法作为示例，实验证明了该模型对低质量文本图像更加鲁棒，并在多个基准数据集上取得了最先进的结果。

May, 2020

本研究提出了一种新的动态位置编码（DPE）方法，通过新的位置嵌入来纠正目标单词的位置信息，相较于传统 Transformers 在英德法意四种翻译任务中取得了显著的性能提升。

Apr, 2022

提出了一种非自回归解码框架用于图片描述，该框架使用位置对齐和推理策略来指导更进一步的句子生成，实验结果表明此模型相对于自回归模型有显著的加速效果，并且相较于 NA 模型有更好的表现。

Dec, 2019

本文提出了一种名为 DFPQ（Dynamic Focus-aware Positional Queries）的 query 设计方法，该方法基于前一个解码器块的跨注意力得分和相应图像特征的位置编码动态生成位置查询，同时通过仅基于低分辨率跨注意力分数聚合上下文令牌以执行局部关系聚合。经实验证明，在 ADE20K 和 Cityscapes 数据集上，该方法在 Mask2former 的基础上实现了 SOTA 表现，且 ResNet-50、Swin-T 和 Swin-B 等背骨在 ADE20K 验证集上的单尺度 mIoU 分别优于 Mask2former 1.1％，1.9％和 1.1％。

Apr, 2022

本文介绍了一种新的机制 ——Decoupled Positional Attention，将位置和段信息编码为 Transformer 模型，提高了训练和推理效率，在 GLUE、XTREME 和 WMT 基准测试中实现了竞争性表现，并进一步将该方法推广到远程的 transformers，显示了性能提升。

Apr, 2021

本研究将文本检测和识别模块融合，并采用基于注意力机制的解码器，通过利用角色评分图来更好地关注字符中心点，实现了一种紧密耦合的单管道模型，扩展了开放式直线和曲线基准数据集的最新性能。

Jul, 2020

该研究提出了一种基于注意力机制的序列到序列模型用于手写体识别，其中结合了卷积神经网络进行视觉信息的提取，实验结果表明其相比于最近的序列到序列方法取得了显著提升。

Mar, 2019

本论文提出一种基于注意力的编码 - 解码框架，通过特征提取和融合，利用多头注意力加强了场景和文本特征空间的相关性，进而实现对文本识别领域不规则数据集的更好性能。

Jun, 2021

通过引入辅助任务，利用全局稠密语义对比和自上而下建模来联合学习鲁棒特征，从而实现更强大的实时场景文本检测。

Aug, 2023