提出了一种用于文本到图像人物检索的新框架，旨在充分发掘句子中的词语力量。通过使用预训练的全 CLIP 模型作为图像和文本的双编码器，以及引入文本引导的图像恢复辅助任务和针对难样本的交叉模态三元组损失，该方法在三个流行的基准数据集上取得了最先进的结果。

Jul, 2023

TextFormer 提出了一种使用 Transformer 架构实现的查询式端到端文本定位算法，采用多任务建模的联合语义理解，并通过自适应全局聚合模块处理任意形状的文本，通过弱监督和全标注的语料库信息提升检测和端到端文本定位结果，实现了在双语数据集上的显著优势。

Jun, 2023

本文全面介绍了跨模态图像 - 文本检索的研究进展，包括特征提取、特征对齐、效率优化以及预训练，讨论了一些关键但较少被研究的问题，并对代表性方法进行了精度比较。

Mar, 2022

本文提出了一种统一的端到端文本阅读和信息提取网络，通过融合文本阅读的多模态视觉和文本特征来实现信息提取，并且信息提取中的语义有助于优化文本阅读，该方法在真实世界的数据集上表现出比现有方法更高的效率和准确性。

May, 2020

该研究论文介绍了一种结合视觉和自然语言的简单而强大的数据的神经体系结构；该架构称之为 “Bounding Boxes in Text Transformer”（B2T2），并且在统一架构中利用指涉信息将单词绑定到图像部分。B2T2 在 Visual Commonsense Reasoning 基准测试上表现极佳，相对于已发表的基线减少了 25％的错误率，并在公共排行榜上取得了迄今为止的最佳表现（截至 2019 年 5 月 22 日）。详细的消融分析显示，将视觉特征早期整合到文本分析中对该算法的有效性至关重要。

Aug, 2019

提出了一种名为 TextNet 的端到端训练网络结构，能够同时从图像中定位和识别不规则文本，并通过设计的多任务损失函数实现端到端的文本定位和识别任务。实验结果显示，所提出的 TextNet 在标准基准上取得了最先进的性能，并且在不规则数据集上优于现有方法。

Dec, 2018

本研究引入了 UNITER，一种通过对四个图像 - 文本数据集（COCO，Visual Genome，Conceptual Captions 和 SBU Captions）进行大规模预训练学习的 UNiversal image-text representation，其可为异构下游 V + L 任务提供联合多模态嵌入。

Sep, 2019

通过使用外部知识图谱挖掘相关信息，我们提出了一种适用于遥感图像的知识感知文本 - 图像检索（KTIR）方法，该方法丰富了搜索查询中可用的文本范围，缓解了文本和图像之间的信息差距，实现更好的匹配。实验结果表明，该方法在遥感文本 - 图像检索中表现出优异的检索能力，超越了现有的最先进方法。

May, 2024

利用高级语义，通过视觉 - 语言模型建立文本与图像信号之间的粗粒度关联机制，并在变换器网络中嵌入仿射融合单元以在特征级别上融合文本和图像模态，提出了一种以文本为导向的融合方法，并释放了一个文本注释的图像融合数据集 IVT 来促进其实施和在研究社区的采用。大量实验证明我们的方法（TextFusion）在传统的基于外观的融合方法上始终表现优异。

Dec, 2023

本文提出了一种端到端训练的场景文本识别系统，该系统可以通过迭代去除透视畸变和文本弯曲，从而驱动更好的场景文本识别性能，其中采用一种创新的矩形化网络，该网络利用一种新颖的线拟合变换来估计场景中文本行的姿态，在此基础之上，开发了一种迭代的矩形化管道，其中场景文本失真被迭代地纠正到前方平行视图。

Dec, 2018