本论文提出了一个新的序列到序列学习框架 SeqTrack 来进行视觉跟踪，将视觉跟踪作为一个序列生成问题，该问题可以在自回归的基础上预测物体的边界框，SeqTrack 架构只采用一个简单的编码器解码器变压器架构，并在多个基准测试上达到了竞争性能水平。

Apr, 2023

本文提出了一种基于 LSTM 堆叠的序列上下文模型 (SeqGROUND) 进行短语映射及其在模型架构设计上的有效性的验证，并在 Flickr30K 基准数据集上展示了具有竞争力的表现。

Mar, 2019

本文提出了一种新的无循环序列到序列文本识别器（NRTR），并采用自注意力机制代替基于循环或卷积的网络，使用模态转换块将 2D 输入图像有效转化为 1D 序列以提取更判别性的特征，这使得 NRTR 在常规和非常规基准测试上均取得了最新的或者竞争性的性能，并相较于目前最佳的模型少至少 8 倍的训练时间。

Jun, 2018

本次研究提出了一个基于 transformer 架构的单阶段多任务模型，通过融合视觉和语言输入，实现了高度语义转换的视觉语言解析，通过上下文信息和多任务学习，该模型在包括命名实体识别等任务上，取得了比现有方法更加突出的性能优势。

Jun, 2021

本篇论文提出了一种新型的端到端、多模态 Transformer 模型 ——GTR，通过将视频定位看作一个集合预测任务来实现，采用立方体嵌入层将原始视频转换为视觉令牌；在解码器中，采用新型的多头跨模态注意力机制来更好地融合两种模态，整个模型的优化采用 Many-to-One 匹配损失函数，实现了记录性能和较快的推理速度，获得更好的结果。

Sep, 2021

该研究提出了一种基于图卷积网络的文本推理（GTR）方法并将其应用于场景文本识别中，该方法可以利用像素之间的空间关联来提高文本识别的性能，并在六个具有挑战性的基准测试中获得最新的最佳结果。

Dec, 2021

本文提出了一个名为 SeqPAN 的并行注意力网络，用于解决视频 grounding 时的多模态表示学习和目标时刻边界预测问题。通过一个自主引导的并行注意力模块，SeqPAN 可以有效地捕捉自我模态上下文和视频文本的跨模态关注信息，并使用序列匹配策略指导开始 / 结束边界的预测。实验结果表明，SeqPAN 优于现有最先进方法。另外，自主引导的并行关注模块和序列匹配模块的有效性得到了验证。

May, 2021

该论文提出了一种基于 Transformer 编码器 - 解码器的视觉 grounding 方法，通过在不损伤位置定位能力的前提下，在文本描述的指导下学习语义鉴别的视觉特征，具有强大的文本 - 视觉语境语义捕捉能力。实验结果表明，在保持快速推理速度的同时，该方法在五个基准上优于现有的提案 - free 方法。

May, 2021

提出一种基于序列对序列对比学习框架 (SeqCLR) 的视觉表征方法，应用于文本识别，可实现在子单词级别上对比，并进一步建议新颖的数据增广启发式方法、不同的编码器架构和定制投影头来获得对于文本识别而言的有效视觉表征。在手写文本和场景文本上的实验结果表明，与非序列对比方法相比，当训练文本解码器的表征时，我们的方法表现出更好的性能。另外，当减少监督量时，SeqCLR 与有监督的训练相比，明显提高了性能，在 100％的标签下微调后，我们的方法在标准手写文本识别基准上取得了最佳结果。

Dec, 2020

提出了基于 Local Narratives 数据集和 TReCS 模型的图像文本生成方法，在视觉的基础上，利用分割掩模等技术实现了更好的图像合成效果。

Nov, 2020