本文提出了一种基于对比度创建区分性字幕的方法，该方法建立在将字幕作为参照游戏进行的实用推理程序上，并利用现成的 CLIP 模型对接收者进行参数化，以在推理分别对待种类相似的其他干扰图像时从 CLIP 获得视觉 - 语言对齐表示，其自动优化字幕的信息性，优越于人们对具有区分性字幕的图像的准确性评估。

Jun, 2023

本文介绍了 PhotoBook 数据集，该数据集是一个大规模的英语对话集合，旨在调查会话期间积累的共享对话历史。该数据集包含 2500 个对话，并建议了一个基于共同信息的基准模型，其结果表明共同信息对于解决后续描述至关重要，强调了需要开发对话交互中常用地基础的更复杂的模型。

Jun, 2019

本文提出了一种统一的方案，包括三个模块，即发言者、侦听器和强化程序，用于指代表达的理解和生成任务。训练过程采用端到端深度学习框架，并加入了强化程序的反馈，取得了在三个指代表达数据集上表现最佳的结果。

Dec, 2016

PhotoBot 框架结合高级人类语言引导和机器摄影师，实现了基于自动话术采集照片的功能。利用视觉语言模型（VLM）和目标检测器，通过文本描述表征参考图片，然后通过大型语言模型（LLM）根据用户的语言查询检索相关的参考图片。利用一个能够跨不同图片捕捉语义相似性的视觉转换器的训练特征，来对应参考图片和观察场景。该方法通过求解透视 n 点（PnP）问题计算了 RGB-D 相机的姿势调整。在配备腕部相机的真实世界操作器上演示了我们的方法。我们的用户研究表明，通过 PhotoBot 拍摄的照片在美学上往往比用户自己拍摄的更令人满意，这可通过人类反馈来衡量。

Jan, 2024

研究表明，在多方参与者的复杂情境下，利用深度强化学习，适应目标听众的共性和个性从而适应性传达信息是成功的，该项研究还为人们探索被称为 Dixit 的游戏中的技术挑战提供了启示。

Jun, 2022

该研究旨在创建一个多模态人工智能系统，可以与人类交谈并分享相关图片，其中包括了图片检索模块和图片理解生成回复的模块。使用 ViT，BERT，GPT-2/DialoGPT 三个模型，在自动生成的和人工评估中结果显示，在开放式场景的图像识别中表现优异。

Apr, 2023

该研究通过预先训练的卷积神经网络提取图像特征，并将其与图片中的位置信息相结合，应用 “以词为分类器” 的模型研究语言和感知之间的联系，成果是一种能够在寻求表达的参考物边界盒子上表现出色的策略，并具有更简单和灵活的概念。

Oct, 2015

本研究提出了一个新的人对人对话数据集 - PhotoChat，该数据集是第一个关注于在线消息中照片分享行为的数据集，其中包含 12k 个对话。基于此数据集，我们提出了两个任务以促进图像文本建模的研究：一个是用于预测下一个对话回合中是否打算分享照片的照片分享意图预测任务，另一个是根据对话上下文检索最相关的照片的照片检索任务。在这两个任务中，我们使用最先进的模型提供基线模型，并报告其基准表现。最佳图像检索模型实现了 10.4％的召回率 @ 1（1000 个候选项之一），而最佳照片意图预测模型达到 58.1％的 F1 分数，表明该数据集提供了有趣而具有挑战性的现实问题。我们发布了 PhotoChat，以促进未来的研究工作。

Jul, 2021

我们提出了一个基于先验推理和学习语义结合的思想来描述场景的模型，成功率高于现有技术。

Apr, 2016

通过对话互动生成确切描述来增强视觉引导对话中视觉语言模型（VLMs）的话语处理能力，并使用预训练的 VLMs 在零样本情况下识别参照物，从而提高了参照的准确性和效果。

Sep, 2023