本研究使用深度学习模型来探索神经图像字幕生成的领域，研究不同的神经网络架构配置，重点关注注入架构，并提出了一种新的质量度量标准来评估字幕生成。通过广泛的实验和分析，本研究揭示了图像字幕生成中的挑战和机遇，深入洞察了模型行为和过度拟合问题。结果显示，尽管合并模型具有更大的词汇量和更高的 ROUGE 分数，注入架构生成相关而简洁的图像字幕。研究还强调了优化训练数据和超参数以提高模型性能的重要性。本研究为神经图像字幕生成领域的日益增长的知识体系做出了贡献，鼓励进一步探索该领域，强调了人工智能的民主化。

Dec, 2023

通过人工反馈训练图像字幕模型，使其适应特定用户数据，并采用稀疏记忆重播组件避免灾难性遗忘，从而实现自定义图像字幕模型。

Jun, 2023

本文提出了一种 Non-Autoregressive Image Captioning（NAIC）模型，采用一种新的训练范式：Counterfactuals-critical Multi-Agent Learning（CMAL），将其制定为多智能体强化学习系统，经过对大规模未标记图像的实验表明，该模型实现了与最先进的自回归模型可比的性能，同时速度提高了 13.9 倍。

May, 2020

该研究比较了神经视觉检索器基于人工和神经式生成的图片描述符的 0-shot 检索性能表现，并通过对 ImageCoDe 数据集进行实验，发现神经式生成的描述符表现更好，这表明神经模型在生成描述符方面的语言形式与英语相似，但是这种表面上的相似可能是深度误导性的。

Oct, 2022

本文提出了基于深度递归架构的生成模型，结合计算机视觉和机器翻译的最新进展，将图像描述为自然语言的句子，实验结果表明了模型的准确性和流畅性。

Nov, 2014

提出了一种基于 CLIP 模型的轻量级图像字幕生成器 LightCap，可以在资源有限的设备上使用，仅包含 40M 参数，比现有技术方法的模型大小减少了超过 75％，与仅使用单个 CPU 的手机的推理速度为 188ms 每张图像，并在著名数据集上表现出最先进的性能。

Dec, 2022

本文提出了一种交互式学习的图像标题生成模型，该模型使用数据增强方法来扩大人类反馈所提供的有效学习信息，并智能地将其集成到模型中，本文重点讨论了其反馈收集、数据增强和模型更新三个关键组件的实现方法。

Feb, 2022

本文提出了一种名为 COMIC 的紧凑型图像字幕生成模型，其嵌入词汇表长度比现有方法小 39-99 倍，但在五个常见的评估指标上在 MS-COCO 和 InstaPIC-1.1M 数据集上达到了与最先进方法相当的结果。

Mar, 2019

通过改进生成式训练中的评价目标，研究致力于缩小生成式字幕生成器和 CLIP 分类器之间的差距，实现零样本图像分类和图像 - 文本检索任务上表现可比的效果，并希望进一步研究将生成式与判别式训练程序统一的方法。

Nov, 2023

本研究提出了一种名为 ConZIC 的可控零样本图像字幕生成框架，其中核心是一种称为 GibbsBERT 的采样式非自回归语言模型，与 ZeroCap 相比，ConZIC 在保证准确性的情况下，生成速度可达 5 倍以上，多样性指标高出 1.5 倍。

Mar, 2023