本文综合研究图像描述中的视觉编码、文本生成、训练策略、数据集和评估指标等方面，量化比较多个相关的最前沿方法，以识别体系结构和训练策略中最具影响力的技术创新并探讨问题的许多变体和开放挑战，旨在为理解现有文献和强调计算机视觉和自然语言处理领域的未来方向提供工具。

Jul, 2021

增强视觉模型对包含大量文本信息的图像进行理解和学习的能力，通过数据预处理、微调和模型评估等方法，在集成 CLIP 和文本嵌入模型的视觉聊天应用中取得了 96.71% 的精度，旨在提升复杂视觉文本数据的跨模态人工智能理解能力。

May, 2024

本文提出了一种新的图像字幕架构，通过构建以字幕为导向的视觉关系图以及利用弱监督多实例学习引入有益的归纳偏差来增强图像表示和字幕生成，实现多模态问题解决和优化。在 MSCOCO 数据集上进行广泛实验，证明该框架在多种评估指标下取得了业内最优表现。

Jun, 2020

该研究探索了一个新的问题，即学习对不同长度和数量的图像文本具有强鲁棒性的自我监督视觉语言表示法，其介绍了一个包括超过 31M 篇文章，22M 张图片和 1M 个视频的大规模多模态数据集，并表明最先进的图像文本对齐方法不能很好地处理带有多张图像和更长篇幅的叙述，且还提出了一种直观的基线方法，在 GoodNews 数据集上零样本图像集检索表现比这些方法高出 10%。

Jul, 2022

研究了一种生成序列图像以可视化故事的任务，提出了改进方法包括双路学习框架、复制 - 转换机制和基于 MART 的 transformer 模型，并提供了相应的评价指标和对这些指标的直观检验。

May, 2021

提出了一种新的图像字幕生成方法，该方法能够利用无图像数据的文本数据，并使用区域图像特征生成有意义的二进制向量，从而获得更准确和多样化的字幕。该方法的主要优点是能够生成具有 Salient 图像属性的有意义的二进制向量，并通过软关注机制对其进行解码。

Nov, 2016

本文提出了一种用于自动生成图像描述的新方法：使用从图像标题数据集中直接学习的视觉探测器、语言模型和多模式相似模型。

Nov, 2014

通过在视觉问题回答（VQA）过程中利用图像描述作为中介步骤，建立零样本设置，探索了零样本 VQA 的影响。比较了最先进的图像描述模型对于不同问题类型的 VQA 性能在结构和语义上的影响，并在 VQA 过程中提出了一种简单高效的问题驱动图像描述方法，通过提取问题关键词、为每个图像 - 问题对生成描述，并将问题驱动的描述传输到大型语言模型中。研究发现利用图像描述和大型语言模型的能力，在零样本设置下能够实现竞争性的 GQA 性能。

Apr, 2024

本研究论文探讨了在计算机视觉任务中，超分辨率学习取得了显著的成功，但获取高质量的标注数据仍然是一个瓶颈。作者调查了 AI 辅助深度学习图像标注系统的学术和非学术作品，这些系统为注释者提供关于输入图像的文本建议、标题或描述，从而提高注释效率和质量。研究涵盖了各种计算机视觉任务的标注，包括图像分类、目标检测、回归、实例、语义分割和姿态估计。作者回顾了各种数据集以及它们对 AI 辅助标注系统的训练和评估的贡献。此外，作者还研究了利用神经符号学习、深度主动学习和自监督学习算法实现语义图像理解和生成自由文本输出的方法，包括图像字幕生成、视觉问答和多模态推理。尽管前景看好，但 AI 辅助图像标注与文本输出能力的公开可用作品有限。文章最后提出了未来研究方向的建议，强调了更多公开可用的数据集和学术界与工业界合作的必要性。

Jun, 2024

本文介绍了一种基于 VizWiz 数据集和训练于神经网络算法之上的图像字幕生成系统，旨在实现对盲人等特殊群体的辅助，为提供正面社会影响的机器学习计算机视觉领域生产技术迈出了一步。

Dec, 2020