Pixel-BERT 是一种多模态的深度转换器，可以通过使用图像和文本数据对其进行联合学习，从而在像素和文本级别上进行语义连接，实现视觉和语言任务的更准确和彻底的连接，并解决了视觉任务中语义标签不平衡的问题。

Apr, 2020

本文主要探讨了通过提出一个简单的门控机制来从伪字幕中选择可靠的单词以提高图像字幕生成任务的准确性，并证明了在单词级别详细对齐方面的慎重对齐的重要性。

Apr, 2021

提出了一个利用对比学习实现像素级别度量学习的语义分割框架，能够从全局上探索标记像素的结构，并在多个数据集上带来了显著的性能改进。

Jan, 2021

通过设计 Phrase-Pixel-Object Transformer Decoder（PPO-TD）来丰富与像素和物体上下文相关的短语特征，并提出 Phrase-Object Contrastive Loss（POCL）从短语相关的物体标记中聚合更精确的物体上下文，这使得我们的方法在 Panoptic narrative grounding 基准测试中取得了新的最先进性能。

Nov, 2023

本文提出了一种结合图卷积网络（GCN）的视觉语义单元对象相互作用的图形语义和几何建模方法，利用上下文门控注意力模块将当前单词与视觉语义单元对齐，针对 MS-COCO 图像字幕数据集，与现有方法相比报告了更好的结果。

Aug, 2019

本研究提出一种自监督的单词对齐模型 - Mask-Align，该模型利用目标序列上的完整上下文，在进行两步的处理，同时采用一种叫做漏洞关注 (leaky attention) 的注意力变体，对于特殊符号如句号，该变体有助于缓解跨项权重过高的问题，各项结果显示，该模型的性能优于以前的无人监督神经对齐器，同时取得了新的最优结果。

Dec, 2020

通过引入 Mask Grounding 辅助任务和跨模态对齐损失以及对应的对齐模块，提出了一种用于改善参照图像分割算法的综合方法 MagNet。该方法通过教授模型学习掩蔽文本标记与匹配的视觉对象之间的细粒度对应关系，在 RefCOCO、RefCOCO + 和 G-Ref 等三个关键基准测试中显著优于现有算法，有效地解决了当前参照图像分割算法的局限性。

Dec, 2023

通过引入具有文本增强的空间感知（TAS）零样本指代图像分割框架，本研究解决了零样本指代图像分割任务中的挑战，该任务旨在在没有像素级注释的情况下识别与指代表达最相关的实例掩码，并且在不同的视觉编码器上具有训练免费和鲁棒性的特点。

Oct, 2023

PAIS 是一种新的框架，针对半监督实例分割问题，通过调整半监督损失项的权重，使得伪标签包含宝贵信息不被过滤掉，实验证明，PAIS 在标注数据极为有限的情况下具有很大的潜力，仅有 1% 的标注数据时，基于 Mask-RCNN 的 PAIS 在 COCO 数据集上获得 21.2 mAP（超过当前最先进模型 NoisyBoundary 7.7 mAP 的 12 个百分点），基于 K-Net 的 PAIS 获得 19.9 mAP。

Aug, 2023

本论文提出一种基于逐步学习区分性多模态特征的方法，通过不断更新查询作为目标对象的表示，强化与之相关的多模态特征，逐渐从定位中心转为分割中心，实现逐步修复缺失对象部分和 / 或去除多余部分，并在 RefCOCO、RefCOCO+ 和 G-Ref 数据集上的实验结果表明其优于现有方法。

Mar, 2023