Apr, 2024

利用 GPT-4V (ision) 进行保险业的初步探索

PDF
TL;DR通过对 GPT-4V 在保险领域的能力进行探索，我们发现它在保险相关任务中展现出了出色的能力，不仅全面理解了保险领域中的多模态内容，还具备丰富的保险场景知识。然而，它在详细风险评估和损失评估方面存在明显不足，并在图像理解中出现了幻觉，并对不同语言的支持程度各有不同。通过这项工作，我们的目标是将保险领域与尖端的多模态模型技术相结合，推动跨学科交流与发展，并为未来的研究工作提供基础。
large multimodal modelsinsurancegpt-4vmultimodal tasksrisk assessment
发现论文，激发创造
  • LMMs 初探：与 GPT-4V (ision) 的初步探索

    通过分析最新的模型 GPT-4V，我们深入了解大型多模态模型（LMMs）的能力和特点，发现 GPT-4V 具有处理多种输入、具有广泛通用性的能力，以及通过理解图像上的视觉标记可以创造出新的人机交互方式。我们期望这项初步探索能够激发对下一代多模态任务形式、利用和增强 LMMs 以解决实际问题以及对多模态基础模型有更好理解的未来研究方向的启发。

    Sep, 2023

  • GPT-4V (ision) 作为社交媒体分析引擎

    利用现有基准数据集对 GPT-4V 的五项任务进行定量分析，并选择有代表性的样本详细评估其在社交多媒体内容理解方面的潜力，结果显示 GPT-4V 在情感分析、仇恨言论检测、假新闻识别、人口推断和政治意识形态检测等任务上展现出显著的效果，并具备图像 - 文本配对的联合理解、文化和语境意识、以及广泛的常识知识，但在涉及多语言社交多媒体理解和对社交媒体最新趋势的泛化方面仍存在挑战，同时在涉及名人和政治家知识的持续发展背景下，会出现错误信息生成的倾向，这反映了已知的幻觉问题，研究结果表明，大型多模态模型在通过分析多模态信息来增进对社交媒体内容及其用户的理解方面具有巨大的潜力。

    Nov, 2023

  • 探索 GPT-4V (ision) 的推荐能力：初步案例研究

    通过研究 GPT-4V (ison)，我们发现多模态模型在推荐任务中的潜力，并证明了 GPT-4V 具有出色的零 - shot 推荐能力，同时也发现了其在类似输入上提供相似响应的局限性。我们希望激发进一步研究下一代多模态生成式推荐模型，以提供更多样性和互动性，从而增强用户体验。

    Nov, 2023

  • 迷失在翻译中：当 GPT-4V (ision) 无法与文字心有灵犀。VLLMs 及更多的视觉语言一致性分析

    通过对多模态机制的详细分析，揭示了 GPT-4V 等模型执行视觉和语言任务的一致性与独立性，并引入了一种名为 “Vision Description Prompting” 的方法，有效提高了具有挑战性的视觉相关任务的性能。

    Oct, 2023

  • 多模态基础模型在地理、环境、农业和城市规划应用中的承诺与挑战

    GPT-4V 在地理学、农业和城市规划领域的绩效评估中展现出潜力，但在一些需要细粒度识别和精确计数的任务中存在局限性。

    Dec, 2023

  • 医学影像中多模态大型语言模型的实用性初探

    利用 Gemini 和 GPT-4V 模型，本研究尝试基于两种模态医学图像数据进行分类、解释和分析，并发现 Gemini 在分类任务上略优于 GPT-4V，而 GPT-4V 的回答主要是泛化的。该研究为多模态大型语言模型在视网膜眼底检查和肺部 X 射线图像等医学图像分析专项任务中的分类和解释提供了潜力，并识别了早期调查研究中的关键限制。

    Jun, 2024

  • GPT-4V 能在医学应用中发挥作用吗？基于 GPT-4V 的多模态医学诊断案例研究

    通过评估 OpenAI 最新模型 GPT-4V (ision) 在多模态医学诊断领域中的表现，我们发现尽管 GPT-4V 在区分医学图像模态和解剖学方面表现出色，但在疾病诊断和生成综合报告方面面临重大挑战，这表明尽管大型多模态模型在计算机视觉和自然语言处理方面取得了重大进展，但其在有效支持现实医疗应用和临床决策方面仍有很大差距。

    Oct, 2023

  • HuatuoGPT-Vision，面向大规模注入医学视觉知识的多模态语言模型

    通过使用 PubMedVision 数据集，我们对医学图像和文本进行了精炼和重构，从而改善了当前 MLLM 的医学多模态能力，并在医学多模态场景中展现了卓越的性能。

    Jun, 2024

  • 评估 GPT4-V 在结构化推理任务上的表现

    最近，GPT-4 语言模型与视觉能力相结合，我们对 GPT-4V 和其他五个基准模型进行了提示评估，包括数学推理、视觉数据分析和代码生成等结构化推理任务。我们发现视觉的 Chain-of-Thought，在多模态 LLMs 上的扩展，在基准模型上取得了显著的改进。我们还对这些模型表现良好和困难的情景进行了分类分析，突出了一致性多模态推理所面临的挑战。

    Dec, 2023

  • 医学应用的多模态 ChatGPT：GPT-4V 的实验研究

    我们对最先进的多模态大型语言模型 GPT-4V 在视觉问答任务中的能力进行了关键评估，实验充分评估了 GPT-4V 在使用包括 11 种模态（如显微镜、皮肤镜、X 射线、CT 等）和十五种感兴趣的对象（如脑、肝脏、肺等）的病理学和放射学数据集中回答带有图像的问题的能力。我们的数据集涵盖了广泛的医学问题和十六种不同的问题类型。通过准确度评分的实验结果表明，目前的 GPT-4V 版本在应对诊断性医学问题方面的准确性不可靠且次优。此外，我们详细描述了 GPT-4V 在医学视觉问答中的七个独特特征，突出了其在这个复杂领域中的局限性。我们评估案例的完整细节可在此 https URL 上找到。

    Oct, 2023