本文旨在探索无监督图像标注任务,使用已有的图像和文本之间的重叠关系构建用于训练变形金刚模型的数据集以及研究对象信息和属性之间的关系,以此提高无监督方法的性能表现。
Dec, 2021
提出了一种新的图像字幕生成方法,该方法能够利用无图像数据的文本数据,并使用区域图像特征生成有意义的二进制向量,从而获得更准确和多样化的字幕。该方法的主要优点是能够生成具有 Salient 图像属性的有意义的二进制向量,并通过软关注机制对其进行解码。
Nov, 2016
本文提出了一种跨越视觉和语言领域的高级语义信息桥接技术,以实现无配对图像说明,并引入了基于语义概念关系探索的解决方案 ——Semantic Relationship Explorer,能够有效地提高图像说明的质量,并且在 MSCOCO 数据集下总体得分比配对数据集高出 8%。
Jun, 2021
通过共享的、结构化的视觉概念潜在空间,将图像特征转化到语义向量嵌入空间中,并使用同一语言模型将其解码为场景描述,无需明确监督来了解图像;这种转化借助于暴露于图像 / 标题数据分布之外的大型文本语料库,并且具有鲁棒性。
Aug, 2019
本文提出了一种新颖的基于跨语言无配对数据的图像描述生成方法,通过跨语言的自动编码和跨媒体非监督特征映射实现从图像模态到语言模态的生成, 并在汉语图像描述生成任务上展示了其有效性。
Oct, 2020
本研究提出了一种基于场景图的方法来进行非配对图像描述,用于生成不需要图像 - 文字配对的结果,显著超过现有方法的表现。
Mar, 2019
提出了一种半监督学习方法,使用对抗式学习来为未配对的样本分配伪标签,提升图像字幕模型的泛化性能,并展示了该方法在不同场景下都有较为明显的性能提升,包括关系字幕和网络爬虫数据。
Jan, 2023
本文提出了一种新的图像字幕架构,通过构建以字幕为导向的视觉关系图以及利用弱监督多实例学习引入有益的归纳偏差来增强图像表示和字幕生成,实现多模态问题解决和优化。在 MSCOCO 数据集上进行广泛实验,证明该框架在多种评估指标下取得了业内最优表现。
Jun, 2020
本文提出了一种用于自动生成图像描述的新方法:使用从图像标题数据集中直接学习的视觉探测器、语言模型和多模式相似模型。
Nov, 2014
本文提出了一种新颖的数据有效的半监督学习框架,该框架利用大规模的未配对图像和标题数据来学习它们之间的联系,并通过生成对抗网络将伪标签分配给未配对样本,来训练图像字幕模型。实验结果表明,该方法相对于几个强基线的效果明显,尤其是在配对样本数量很少的情况下。此外,我们构建了少配对的 COCO 数据集,证明了我们方法的有效性。
Sep, 2019