Nov, 2023

探索 GPT-4V (ision) 的推荐能力：初步案例研究

PDF
TL;DR通过研究 GPT-4V (ison)，我们发现多模态模型在推荐任务中的潜力，并证明了 GPT-4V 具有出色的零 - shot 推荐能力，同时也发现了其在类似输入上提供相似响应的局限性。我们希望激发进一步研究下一代多模态生成式推荐模型，以提供更多样性和互动性，从而增强用户体验。
multimodal modelsrecommendation tasksgpt-4v(ison)zero-shot recommendation abilitiesnext-generation multimodal generative recommendation models
发现论文，激发创造
  • LMMs 初探：与 GPT-4V (ision) 的初步探索

    通过分析最新的模型 GPT-4V，我们深入了解大型多模态模型（LMMs）的能力和特点，发现 GPT-4V 具有处理多种输入、具有广泛通用性的能力，以及通过理解图像上的视觉标记可以创造出新的人机交互方式。我们期望这项初步探索能够激发对下一代多模态任务形式、利用和增强 LMMs 以解决实际问题以及对多模态基础模型有更好理解的未来研究方向的启发。

    Sep, 2023

  • GPT-4V (ision) 作为社交媒体分析引擎

    利用现有基准数据集对 GPT-4V 的五项任务进行定量分析，并选择有代表性的样本详细评估其在社交多媒体内容理解方面的潜力，结果显示 GPT-4V 在情感分析、仇恨言论检测、假新闻识别、人口推断和政治意识形态检测等任务上展现出显著的效果，并具备图像 - 文本配对的联合理解、文化和语境意识、以及广泛的常识知识，但在涉及多语言社交多媒体理解和对社交媒体最新趋势的泛化方面仍存在挑战，同时在涉及名人和政治家知识的持续发展背景下，会出现错误信息生成的倾向，这反映了已知的幻觉问题，研究结果表明，大型多模态模型在通过分析多模态信息来增进对社交媒体内容及其用户的理解方面具有巨大的潜力。

    Nov, 2023

  • Rec-GPT4V：大型视觉语言模型的多模态推荐

    利用大型视觉 - 语言模型进行多模态推荐的研究中，研究人员通过引入用户历史和基于图像摘要生成的查询方式，克服了大型视觉 - 语言模型面临的用户偏好知识和多样复杂图像序列问题，并验证了该方法的有效性。

    Feb, 2024

  • 迷失在翻译中：当 GPT-4V (ision) 无法与文字心有灵犀。VLLMs 及更多的视觉语言一致性分析

    通过对多模态机制的详细分析，揭示了 GPT-4V 等模型执行视觉和语言任务的一致性与独立性，并引入了一种名为 “Vision Description Prompting” 的方法，有效提高了具有挑战性的视觉相关任务的性能。

    Oct, 2023

  • 探索 GPT-4V 的 OCR 能力：定量和深入评估

    GPT-4V 综合评估了最近发布的大型多模态模型 (GPT-4V (ision)) 在光学字符识别 (OCR) 方面的能力，发现其在识别和理解拉丁内容方面表现良好，但在多语言情境和复杂任务中存在困难。基于这些观察，我们深入探讨了专门的 OCR 模型的必要性，以及充分利用预训练的通用 LMM 模型如 GPT-4V 来进行 OCR 下游任务的策略。该研究为未来 LMM 在 OCR 领域的研究提供了重要参考。

    Oct, 2023

  • 探索 GPT-4V 在海洋分析中的边界：初步案例研究

    该研究基于 GPT-4V 进行了海洋分析的初步和综合性案例研究，评估了 GPT-4V 在海洋研究中的性能，并为未来 MLLM 的发展设定了新的标准。实验结果表明，GPT-4V 生成的回应仍远未满足海洋领域的特定需求。

    Jan, 2024

  • 利用 GPT-4V (ision) 进行保险业的初步探索

    通过对 GPT-4V 在保险领域的能力进行探索，我们发现它在保险相关任务中展现出了出色的能力，不仅全面理解了保险领域中的多模态内容，还具备丰富的保险场景知识。然而，它在详细风险评估和损失评估方面存在明显不足，并在图像理解中出现了幻觉，并对不同语言的支持程度各有不同。通过这项工作，我们的目标是将保险领域与尖端的多模态模型技术相结合，推动跨学科交流与发展，并为未来的研究工作提供基础。

    Apr, 2024

  • GPT-4V 作为视觉语言任务的通用评估器

    GPT-4V 在多模态任务的普遍评估方面展现出了巨大的潜力，尽管存在一些限制，但其与人类的一致性以及提供详细解释的能力为通用自动评估器提供了希望。

    Nov, 2023

  • GPT-4V（视觉）的早期评估

    GPT-4V 的能力和限制在视觉理解、语言理解、视觉拼图解决以及其他模态（如深度、热力、视频和音频）方面被评估，发现其在英语视觉基准上表现出色，但无法识别图像中的简单中文文本；在敏感特征问题、语言理解任务和类似图片之间差异的解决方面存在一些不一致性和限制，但通过少样本提示可以提高其性能；此外，在视频和热力等与图像类似的任务上表现出了非常好的性能。

    Oct, 2023

  • GPT4Vis：GPT-4 能为零样本视觉识别做什么？

    本研究对 GPT-4 在零样本视觉识别任务中的语言和视觉能力进行了评估，发现利用 GPT-4 生成丰富的文本描述明显提高了零样本识别性能，并且在视觉熟练度方面，GPT-4V 在 16 个基准数据集中表现介于 OpenAI-CLIP 的 ViT-L 和 EVA-CLIP 的 ViT-E 之间。

    Nov, 2023