我们提出了一种简单而易于解释的推理模型，用于生成全局场景的主要对象和语义概念的可视化表示，该模型使用图卷积网络进行关联和推理，再使用门和记忆机制进行全局语义推理，选取判别信息并逐渐生成整个场景的表示；实验证明我们的方法在 MS-COCO 和 Flickr30K 数据集上取得了相对于最佳方法分别为 6.8％和 4.8％的图像检索和字幕检索的新的最佳效果，Flickr30K 数据集上分别提高了 12.6％和 5.8％的图像检索和字幕检索。

Sep, 2019

本文提出一种改进图像 - 字幕生成系统的方法，通过从视觉上下文的角度修订语言生成输出的 beam search，采取视觉语义量化概念，在单词和句子级别上匹配与图像相关的信息来选择最相关的输出作为字幕。该方法可作为后处理方法应用于任何字幕系统中。

Sep, 2022

通过引入 “图像语法” 的概念，结合卷积神经网络和视觉变换器，我们提出了一个两阶段的弱监督学习方法，利用深度聚类和特征细化生成部分 - 语义分割，并结合双向长短时记忆模块处理语义分割补丁序列以捕捉图像语法，实现了对图像补丁损坏的准确检测，在多种语义和句法损坏场景中，验证了我们的框架在 Celeb 和 SUNRGBD 数据集上能够实现 70% 到 90% 的语法验证准确度。

Jan, 2024

通过提出选择性多模态长短时记忆网络 (sm-LSMT)，并在其每个时间步上应用适应性注意力机制，同时通过预测成对实例结点显著图来选择性地注意一对图像和句子实例，从而比较和测量它们之间的相似度，并通过多个时间步骤内的多个局部相似度测量，使用隐藏状态来最终聚合它们，以获得期望的全局相似度，我们可以更好地匹配具有复杂内容的图像和句子，并在两个公共基准数据集上实现最先进的结果。

Nov, 2016

本论文提出了多模态卷积神经网络 (m-CNNs)，用于匹配图像和句子。该网络结构采用卷积架构来利用图像表示、单词组合和两种模态之间的匹配关系。实验结果表明，我们的 m-CNNs 可以有效地捕捉图像和句子匹配所需的信息，并在 Flickr30K 和 Microsoft COCO 数据库的双向图像和句子检索上取得了最先进的性能。

Apr, 2015

本文提出了两种关联度度量指标，并提出一种新的策略用于定义语义自适应边缘，并将其用于标准三元组损失函数的优化中，从而在有限的训练数据情况下得到了很大的改进。

Oct, 2021

在 GAN 生成模型中学习文本和图像表示之间的语义对齐以缓解文本图像语义不匹配问题，进而生成连贯、高质量的多句故事可视化。

Nov, 2022

本文介绍了一种新的基于 Transformer 结构的模型 COS-Net，该模型同时实现了图像中丰富语义的理解和序列化，通过搜寻与图像相关的句子和筛选图像中的语义标记，最终生成能够描述图像的句子，实验结果表明 COS-Net 在 COCO 数据集上显著优于现有技术，达到了 141.1% 的 CIDEr 评分。

Jun, 2022

本篇研究提出了一种卷积神经网络模型来匹配两个句子，并应用于不同语言和不同性质的匹配任务中，实验证明该模型表现出了良好的性能和比竞争模型更优的结果。

Mar, 2015

为了使生成合适的图片字幕，需要对图像进行文本和语义理解。我们提出了两种新方法来构建线性映射，从而成功地在两个预训练模型的嵌入空间之间转移语义。使用我们的语义映射，我们为 MS-COCO 和 Flickr30k 数据集实现了强大的字幕性能。即使在数据有限的情况下，我们的方法也能在某种程度上超过其他零样本和微调竞争对手的表现。

Jul, 2023