本研究介绍了针对生物医学图像分析的 GPT-4V 的大规模评估，评估了 GPT-4V 在医学成像领域的表现和局限性，包括放射学、肿瘤学、眼科学、病理学等 16 个医学成像类别的任务，结果显示 GPT-4V 在成像模态和解剖定位方面表现出色，但在疾病诊断和定位方面存在一定困难，而且在生成诊断报告方面表现优异，需要进一步提升和验证才能在临床应用前达到可靠，该研究推动对多模态大语言模型的理解，并指导未来工作在医疗应用方面的发展。

Nov, 2023

利用 OpenAI 的最先进的大型语言模型 GPT-4，我们在 Metaculus 平台上进行了为期三个月的预测比赛，并发现 GPT-4 在真实世界的预测任务中明显表现不佳，相较于中间值的人类众测，其概率预测明显不准确。

Oct, 2023

利用现有基准数据集对 GPT-4V 的五项任务进行定量分析，并选择有代表性的样本详细评估其在社交多媒体内容理解方面的潜力，结果显示 GPT-4V 在情感分析、仇恨言论检测、假新闻识别、人口推断和政治意识形态检测等任务上展现出显著的效果，并具备图像 - 文本配对的联合理解、文化和语境意识、以及广泛的常识知识，但在涉及多语言社交多媒体理解和对社交媒体最新趋势的泛化方面仍存在挑战，同时在涉及名人和政治家知识的持续发展背景下，会出现错误信息生成的倾向，这反映了已知的幻觉问题，研究结果表明，大型多模态模型在通过分析多模态信息来增进对社交媒体内容及其用户的理解方面具有巨大的潜力。

Nov, 2023

GPT-4V 的能力和限制在视觉理解、语言理解、视觉拼图解决以及其他模态（如深度、热力、视频和音频）方面被评估，发现其在英语视觉基准上表现出色，但无法识别图像中的简单中文文本；在敏感特征问题、语言理解任务和类似图片之间差异的解决方面存在一些不一致性和限制，但通过少样本提示可以提高其性能；此外，在视频和热力等与图像类似的任务上表现出了非常好的性能。

Oct, 2023

本论文研究了一种基于 GPT 框架的新型深度学习模型 Visual ChatGPT 在遥感领域图像处理中的应用，成功展示了该模型生成图像文本描述、进行边缘检测和拟合直线等的能力，但也揭示了该模型在遥感图像处理中的局限性和挑战。研究者相信该模型的应用在未来有望将遥感图像处理转变为便利与实际应用机会并存的领域。

Apr, 2023

GPT-4V 在地理学、农业和城市规划领域的绩效评估中展现出潜力，但在一些需要细粒度识别和精确计数的任务中存在局限性。

Dec, 2023

这篇论文全面评估了 GPT-4V 在不同的医学图像任务中的能力，包括放射学报告生成、医学视觉问答和视觉基础。我们的研究首次对公开可用的基准进行了定量评估，发现了 GPT-4V 在为胸部 X 射线图像生成描述性报告方面的潜力，特别是在有良好结构提示的引导下。然而，我们的发现也揭示了 GPT-4V 在某些评估指标（如 CIDEr）上仍需改进，尤其是在 MIMIC-CXR 数据集基准上。在医学问答方面，虽然 GPT-4V 在区分问题类型方面表现出了熟练度，但在准确性方面还不及现有基准。此外，我们的分析发现了常规评估指标（如 BLEU 分数）的局限性，倡导发展更语义鲁棒的评估方法。在视觉基础领域，虽然 GPT-4V 在识别边界框方面显示了初步的潜力，但其精度不够，特别是在识别特定的医学器官和病症方面。我们的评估强调了 GPT-4V 在医学图像领域的重要潜力，同时也强调了需要针对性的改进来充分发挥其能力。

Oct, 2023

通过使用 GPT-4V 对代表性交通事件视频进行实验，我们发现 GPT-4V 在某些经典交通事件中展现出了出色的认知、推理和决策能力，同时也发现了它在更复杂场景中的理解存在一定限制，这些限制值得进一步探索和解决。

Feb, 2024

本论文探讨了将 GPT-4V 视觉语言模型应用于矿山环境中的自动驾驶，它能够理解意图并在紧急情况下做出准确决策。通过视觉问答和复杂场景理解，GPT-4V 解决了这些特殊环境下的挑战，如识别和解释行人、各种车辆和交通设备等元素。尽管 GPT-4V 在准确识别特定车型和管理动态交互方面存在困难，但其有效的导航和策略决策展示了其在矿山环境复杂条件下作为可靠自动驾驶代理的潜力，凸显了其在工业环境中的适应性和可操作性。

Jun, 2024

我们研究了一种基于 GPT-4 大型语言模型的定制化 AI 助手，旨在帮助决策者、公众和洪水预报员之间进行高效沟通，提供即时洪水警报和回答各种洪水相关问题，促进洪水风险管理及公众参与的普及化。

Mar, 2024