我们的研究比较了四种流行的视觉语言模型在识别文化特定的图像信息并创建准确且具有文化敏感性的图像标题方面的性能，并提出了一个新的评估指标，即文化意识分数（CAS）。我们还提供了一个带有真实标签的数据集 MOSAIC-1.5k，其中包含了具有文化背景和上下文的图像，以及一个带有分配的文化意识分数的数据集，可用于未被看到的数据。创建具有文化适应性的图像标题对于科学研究非常有价值，对许多实际应用也有益处。我们希望通过向公众提供数据集和文化意识分数，促进全球范围内对于尊重和庆祝全球多样性的文化敏感性 AI 系统的更深入融合以及更多相关领域的进一步研究的发展。

May, 2024

提出了新的控制信号，基于 Controllable Image Captioning (CIC)，包括顶点特定语义角色 (VSR)，通过基于地面的语义角色标记模型 (GSRL) 训练来确定所有实体对于每个角色，借助语义结构计划器（SSP）学习像人类一样的描述性语义结构，并使用角色转移字幕模型生成字幕。

Mar, 2021

本文介绍了如何通过使用基于网站提供的图片和嘈杂的评论的自动清洗策略创建一个用于美学图像标题生成的基准数据集（AVA-Captions）。同时，还介绍了一种概率的标题过滤方法，以及利用美学属性间的潜在关联性进行卷积神经网络（CNN）特征提取器的训练的策略。该策略是弱监督的，并可用于学习丰富的美学表示，无需昂贵的标注。最后，文章通过自动度量和主观评价展示了所提出贡献的全面分析。

Aug, 2019

通过人工反馈训练图像字幕模型，使其适应特定用户数据，并采用稀疏记忆重播组件避免灾难性遗忘，从而实现自定义图像字幕模型。

Jun, 2023

本文提出了一种利用 CLIP 模型进行半监督图像标注的方法，包括图像编码器、映射网络和语言模型，通过对比生成的标题和实际标题，并使用未标记的图像进行二次训练，得到了与完整数据集训练的业界最先进模型相比可比的性能，且标题更加独特、信息量更大，并且符合人类的偏好。

Jun, 2023

通过将视觉与语言（V&L）任务分为两个阶段，ICU（图像字幕理解）将模型分为两部分：V&L 模型用英语进行图像字幕生成，然后将字幕作为交替文本，由多语言语言模型（mLM）进行跨语言语义理解。在两项任务中，我们在 IGLUE 基准测试的 9 种语言中进行实验，显示 ICU 在五种语言上可以取得新的最先进结果，并为其他语言取得可比较的结果。

Oct, 2023

本文提出了一种基于 Rational Speech Acts 模型的 Issue-Sensitive Image Captioning（ISIC）方法，通过给定一个问题集合和目标图片，生成与问题相关的图像描述并在实验证实其有效性。

Apr, 2020

图像字幕生成是一项计算机视觉任务，涉及为图像生成自然语言描述，本文评估了基于不同编码机制、语言解码器和训练过程构建的多种模型在真实世界图像字幕生成方面的性能。

Aug, 2023

本文介绍了一种名为 “基于委员会共识的图像字幕生成”（$IC^3$）的新方法，该方法通过多个视角捕捉高级细节并生成单个字幕，人们评价 $IC^3$ 生成的字幕的有帮助程度至少与基准 SOTA 模型相同，并且 $IC^3$ 字幕可以将最先进的自动召回系统的性能提高高达 84％，这表明 $IC^3$ 是一个可以改进现有视觉描述的方法。

Feb, 2023

我们提出了 ViECap，一种可转移的解码模型，利用实体感知解码生成见过和没见过的场景中的描述。ViECap 通过实体感知的硬提示将 LLMs 的注意力引导到图像中存在的视觉实体，实现了跨多样场景的连贯字幕生成。在通过实体感知的硬提示的情况下，ViECap 能够在从域内到域外的场景转移中保持性能。大量实验证明了 ViECap 在跨域（可转移）字幕生成方面的最新水平，并与以前基于 VLMs 的零样本方法在域内字幕生成方面有竞争力。

Jul, 2023