gpt-4v | BriefGPT - AI 论文速递

关键词gpt-4v

搜索结果 - 56

ACL大型语言模型能否自动越狱 GPT-4V?
GPT-4V 被广泛关注，其强大的多模态信息整合和处理能力一方面引发了隐私泄漏的新安全问题，研究者尽管通过 RLHF 或预处理过滤器进行安全对齐的努力，但仍可能存在被攻击利用的漏洞。本研究提出了 AutoJailbreak，一种受提示优化启
PDF4 days ago
GPT-4V 仍无法生成放射学报告
通过对 GPT-4V 在两个胸部 X 光报告数据集上生成报告的系统评估，我们发现它在词汇度量和临床有效性度量方面的表现均非常糟糕；我们将任务分解为两个步骤，即医学图像推理和（基于真实条件）生成报告，结果表明 GPT-4V 在图像推理方面的表
PDF11 days ago
医学影像中多模态大型语言模型的实用性初探
利用 Gemini 和 GPT-4V 模型，本研究尝试基于两种模态医学图像数据进行分类、解释和分析，并发现 Gemini 在分类任务上略优于 GPT-4V，而 GPT-4V 的回答主要是泛化的。该研究为多模态大型语言模型在视网膜眼底检查和肺
PDF2 months ago
具备大型语言模型的版面生成代理
研究了使用 GPT-4V 多模态大语言模型的基于代理的布局生成系统，通过顺序放置对象在虚拟空间中生成反映用户指令的布局，实验证实该方法能以高成功率生成反映用户指令的虚拟空间，并通过消融研究成功地确定了对行为生成性能改善做出贡献的要素。
PDF2 months ago
实现教育的视觉问答：GPT-4V 作为一种多模态人工智能
这篇论文介绍了 Visual Question Answering（VQA）技术在教育研究中的应用，特别是 GPT-4V 在促进 VQA 技术的普及和提高教育研究方法方面的作用。
PDF3 months ago
评估基于任务的多语言语言模型对图表的有效性
我们研究了 GPT-4V 在图表的低级数据分析任务中的有效性，并通过实验结果发现其潜力和局限性，同时提出了一种名为 “Chain-of-Charts” 的新颖文本提示策略，能够提高模型性能并揭示人类分析需求与 GPT-4V 能力之间的差距。
PDF3 months ago
ICMLVisionGraph：在视觉环境下利用大型多模态模型解决图论问题
大型多模态模型（LMMs）在视觉理解和推理方面取得了令人瞩目的成功，显著提高了数学推理在视觉环境中的性能。然而，多模态图理论问题是一类具有挑战性的视觉数学问题，要求 LMMs 准确理解图形结构并在视觉图上进行多步推理。我们首次设计了一个名为
PDF3 months ago
ACLUMass-BioNLP 在 MEDIQA-M3G 2024 中的 DermPrompt：基于 GPT-4V 的皮肤诊断系统的系统化探索
通过整合大型多模型，特别是利用 GPT-4V 在检索者和重新排序框架下的能力，本研究提出了一种诊断临床皮肤病例的新方法，实验证明使用 GPT-4V 作为检索代理在检索皮肤病情时能够准确地检索到正确的皮肤状况，同时通过多智能体对话框架进行诊断
PDF3 months ago
BlenderAlchemy：使用视觉语言模型编辑 3D 图形
通过利用 Vision-Language Models（像 GPT-4V）智能地搜索设计动作空间，我们提出了一个系统，以满足用户意图的目标，结合了图像生成模型（image-generation models）的 “想象” 参考图像，为抽象语
PDF3 months ago
像素与预测：GPT-4V 在气象图像分析和预报通信中的潜力
通过评估 GPT-4V 在解释气象图表和向用户适当传达天气风险方面的能力，尽管存在幻觉等挑战，该研究强调谨慎整合 GPT-4V 等工具在气象学中的必要性，强调人工监督和开发可靠、可解释的人工智能。
PDF3 months ago
GPT-4V 闭环开词汇库移动操作
使用 GPT-4V 视觉语言基础模型的 CLOSE-robot 闭环框架，在开放环境中进行自主机器人导航和操作，通过多模态推理、生成动作策略、验证任务进展和提供反馈，实现了环境感知、情境推理和故障恢复，显著提升了任务成功率和故障恢复能力。
PDF3 months ago
利用 GPT-4V (ision) 进行保险业的初步探索
通过对 GPT-4V 在保险领域的能力进行探索，我们发现它在保险相关任务中展现出了出色的能力，不仅全面理解了保险领域中的多模态内容，还具备丰富的保险场景知识。然而，它在详细风险评估和损失评估方面存在明显不足，并在图像理解中出现了幻觉，并对不
PDF3 months ago
HQ-Edit：面向基于指令的图像编辑的高质量数据集
本研究介绍了 HQ-Edit，这是一个包含约 200,000 个编辑的高质量基于指令的图像编辑数据集。通过利用先进的基础模型 GPT-4V 和 DALL-E 3，我们构建了一个可扩展的数据收集流程，收集了多样的在线示例，并使用这些示例创建了
PDF3 months ago
利用 YOLO-World 和 GPT-4V LMMs 在无人机图像中实现零样本人员检测和动作识别
本文探讨了零样本大型多模态模型（Large Multimodal Models，LMMs）在无人机感知领域的潜力以及其在人体检测和动作识别任务中的应用。研究结果表明，YOLO-World 在检测性能上表现良好，而 GPT-4V 在准确分类动
PDF4 months ago
评估带有视觉能力的 GPT-4 对胸部 X 光片的放射学发现的检测
GPT-4V 多模态大型语言模型在检测胸部 X 光片的放射学发现方面的应用研究表明，目前 GPT-4V 还不具备解读胸部 X 光片的实际诊断能力。
PDF4 months ago
拼贴提示：经济实惠的视觉识别与 GPT-4V
我们的研究引入了拼贴提示，一种预算友好的提示方法，在 GPT-4V 上实现了多张图像的同时图像识别，并通过优化图像排列以达到最大的识别准确性，实验证明拼贴提示在成本效益上明显优于标准提示，并且学习的排列方式明显比随机排列在 GPT-4V 的
PDF4 months ago
JMI 参加 SemEval 2024 任务 3：基于 GPT 和指令调优的拉马模型的多模态 ECAC 两步法
本论文提出了我们为 SemEval-2024 任务 3 开发的系统:“对话中多模态情绪原因分析的竞赛”。通过集成文本、音频和视频等多种模态有效地捕捉人际对话中的情绪需要克服这些多样模态的复杂性，这为开发高效的多模态情绪原因分析系统带来了挑战
PDF5 months ago
单幅图像中的一切：大型多模态模型是图像学习器
该论文介绍了一种新的上下文学习机制 ——In-Image Learning（I²L），将示范示例、视觉线索和指令结合到一张图像中，以增强 GPT-4V 的能力，并通过图像处理、理解和推理能力来整合所有信息，从而避免了复杂图像的文本描述不准确
PDF5 months ago
令人惊讶的失败？多模态 LLMs 与 NLVR 挑战
本研究评估了三种最先进的 MLLM 模型：GPT-4V，Gemini Pro 和开源模型 IDEFICS，在组合自然语言视觉推理任务 NLVR 上的表现。尽管这些模型表现出很强的性能，但我们观察到它们在 NLVR 上表现不佳，该任务要求组合
PDF5 months ago
ICLR挖掘微比特每像素下语义图像压缩的极限
本研究使用 GPT-4V 和 DALL-E3 探索图像压缩的质量 - 压缩性能边界，并通过介绍迭代反射过程改善解码图像，将语义压缩推到 100 μbpp（比 JPEG 小了 10,000 倍）。进一步假设这个 100 μbpp 水平代表标准
PDF5 months ago