本文提出了一种 Visual-Semantic Transformer 的模型，通过 Transformer 模块和视觉 - 语义对齐模块从视觉特征映射中提取出主要的语义信息，然后将语义信息和视觉特征序列组合成伪多域序列，进而通过交互模块增强视觉特征和语义信息之间的相互作用，从而实现文本识别。实验结果表明，该模型在包括正常 / 不规则文本识别数据集在内的七个公共基准上达到了最先进水平。

Dec, 2021

本文提出了一种端到端的结构化多模态关注神经网络，通过使用图形表示和多模态图形注意网络设计来处理 TextVQA 中的可视文本问答问题，并通过全局 - 本地注意回答模块生成答案，其中使用了 OCR 和通用词汇识别技术。实验证明该模型在 TextVQA 数据集和 ST-VQA 数据集等两个任务中超过了 SoTA 模型。

Jun, 2020

该研究提出了一种基于图卷积网络的文本推理（GTR）方法并将其应用于场景文本识别中，该方法可以利用像素之间的空间关联来提高文本识别的性能，并在六个具有挑战性的基准测试中获得最新的最佳结果。

Dec, 2021

提出了一个基于多阶段架构的模型 (Stack-VS)，与底层 (top-down) 和高层 (bottom-up) 注意力模型结合来生成优质图片标题。使用 LSTM 解码器单元在可视层级和语义层级信息上重定义关注权重，并在 MSCOCO 基准测试中取得了显著的提高。

Sep, 2019

本研究提出了一种基于编码器 - 解码器框架的语义增强模型来识别低质量的场景文本，它使用显式的全局语义信息，并将现有的 ASTER 方法作为示例，实验证明了该模型对低质量文本图像更加鲁棒，并在多个基准数据集上取得了最先进的结果。

May, 2020

本文提出了一种新的视频字幕生成方法，利用多种视觉特征和语义属性的层次，采用 LSTM 网络进行句子生成，实现自动选取最突出的视觉特征或语义属性，有望提高字幕生成的精确度。实验结果表明，该框架胜过现有最先进的方法，并可进一步提升精度至近于人类水平。

Dec, 2016

我们提出了一种简单而易于解释的推理模型，用于生成全局场景的主要对象和语义概念的可视化表示，该模型使用图卷积网络进行关联和推理，再使用门和记忆机制进行全局语义推理，选取判别信息并逐渐生成整个场景的表示；实验证明我们的方法在 MS-COCO 和 Flickr30K 数据集上取得了相对于最佳方法分别为 6.8％和 4.8％的图像检索和字幕检索的新的最佳效果，Flickr30K 数据集上分别提高了 12.6％和 5.8％的图像检索和字幕检索。

Sep, 2019

该研究提出了一种基于最先进的 VQA 框架的端到端解释生成模块，通过引入 LSTM 和 Transformer 解码器，生成人类可读的文本解释，同时保持 SOTA VQA 精度。

Nov, 2022

通过多级视觉变换编码器中的多级特征，本文提出了一种新颖的语义分割解码方案，旨在降低计算开销、提高分割准确性，并通过聚合后的语义增强多级特征，从注意力分配的角度保持上下文一致性，大幅降低计算成本。实验结果表明该方案在计算成本上优于现有语义分割模型，且没有准确性损失；深入的消融研究证明了所提出思路的有效性。

Feb, 2024

本文针对遥感图像 - 文本检索的问题，提出一种新颖的 Scale-Semantic Joint Decoupling Network（SSJDN）方法，其中利用 Bidirectional Scale Decoupling（BSD）和 Label-supervised Semantic Decoupling（LSD）模块分别来处理尺度和语义解耦。同时，采用语义引导的三元损失（STL）来提高匹配概率和缩短检索时间。实验结果表明，所提出的方法在四个基准遥感数据集上优于当前最先进的方法。

Dec, 2022