Mar, 2023

ChatGPT Asks, BLIP-2 Answers: 自动提问，为丰富的视觉描述添砖加瓦

PDF
TL;DR本文介绍一种在图像字幕生成中使用的新型自动提问方法 ChatCaptioner，利用 Prompt 和 BLIP-2 的答案获取新的视觉信息，并比较了 ChatCaptioner 和 BLIP-2 以及真实情况下的结果，结果表明 ChatCaptioner 的字幕在图像信息方面有显着提升，可以感知到比 BLIP-2 更多的对象。
questioningai researchlarge language modelsautomatic questioning systemimage captioning
发现论文，激发创造
  • PromptCap：基于提示的任务感知图像字幕生成

    研究了通过引入 PromptCap 这一基于控制生成描述的图像标题模型，用于解决直接使用通用标题生成模型缺乏对视觉细节描述的问题，提高了知识型视觉问答任务的准确性。

    Nov, 2022

  • 视频聊天字幕生成器：朝向丰富化的时空描述

    本研究提出了一个新的视频描述方法，即 Video ChatCaptioner，它使用 ChatGPT 模型作为控制器，提出视频内容驱动的问题并回答这些视觉查询，从而生成包含更多视觉细节的视频标题。

    Apr, 2023

  • IQAGPT：基于视觉语言和 ChatGPT 模型的图像质量评估

    在医学成像中，本研究以 IQAGPT 为例，结合了图像质量说明的 VLM 和 ChatGPT，利用大型语言模型实现图像质量评估和生成文本报告。结果表明 IQAGPT 在图像质量评估方面表现优异，超过了 GPT-4、CLIP-IQA 和仅依赖图像的多任务分类和回归模型。

    Dec, 2023

  • Video-ChatGPT: 通过大型视觉和语言模型实现详细视频理解

    介绍了基于视觉编码器与大型语言模型相结合的 Video-ChatGPT 模型，用于理解和生成关于视频的人类对话，并介绍了使用手动和半自动管道获得的新数据集，可用于训练和评估基于视频的对话模型，并在定量评估框架下分析了该模型的优劣。

    Jun, 2023

  • 聊天机器人对话回应的评分

    在本文中，我们通过提交 60 个提问并基于三项机器翻译评分标准（BLEU，METEOR 和 ROUGE）对 ChatGPT 的回答进行了分析，结果显示出与人类典型反应相比，ChatGPT 在回复和翻译方面的能力虽然显著，但仍有所欠缺。

    Feb, 2023

  • 展示并告诉：神经图像字幕生成器

    本文提出了基于深度递归架构的生成模型，结合计算机视觉和机器翻译的最新进展，将图像描述为自然语言的句子，实验结果表明了模型的准确性和流畅性。

    Nov, 2014

  • ChatGPT 作为地图助手：一种借助生成式 AI 和街景照片数据丰富地图的新方法

    本研究探索利用生成型 AI 作为绘图的助手的概念，以增强协作绘图的效率，并结合志愿地理信息和大型语言模型进行实验，结果表明，采用更详细的来源照片描述或结合附加上下文可以在不修改底层 AI 模型的情况下有效地提高地图标记建议的准确性。

    Jun, 2023

  • 用 GPT-4 增强 CLIP：利用视觉描述作为提示

    我们展示了如何使用 GPT-4 生成视觉描述性文本，并说明如何将其用于适应 CLIP 进行下游任务。与 CLIP 的默认提示相比，在专门的细粒度数据集上，我们在 0-shot 传输准确性方面取得了显著的改进。我们还设计了一个简单的 few-shot 适配器，学习选择最佳的句子来构建具有优越性能的可推广分类器。

    Jul, 2023

  • 评估 ChatGPT 在回答复杂问题时作为问答系统的有效性

    评估使用自身知识作为问答系统的 ChatGPT 在回答复杂问题方面的能力，我们提出了一个框架来评估其功能和可靠性，并使用 CheckList 和 8 个现实世界的基于 KB 的问答数据集进行了测试。 我们发现 LLM 模型的一些常见问题。

    Mar, 2023

  • 评估 ChatGPT 作为一个问答系统：全面分析与现有模型的比较

    ChatGPT 作为一个问答系统，通过对其在提供的段落中提取回答的能力进行评估，发现它在生成模型方面表现出了实力，但在问题回答方面相对于特定任务模型表现较差，而提供上下文可以提高其性能，提问方式对其准确性有所影响，并且在提供的上下文中提供了无法从中获取答案的问题的回答，还存在答案幻觉的现象。

    Dec, 2023