Aug, 2024

多模态基础模型在街景影像中的承诺与难点研究

HTML
PDF
TL;DR本研究探讨了多模态基础模型在街景影像、建筑环境和室内设计中的应用，揭示了其在长度测量和风格分析等任务上的能力，同时也指出了在详细识别和计数任务中的局限性。研究结果表明，尽管零-shot 学习存在潜力，模型性能依赖于问题领域和影像复杂性，从而为多模态基础模型在实际挑战中的应用提供了新见解。
发现论文，激发创造
  • 基础模型在地理空间人工智能中的机遇与挑战

    通过在多个地理空间子领域进行测试，发现在某些文本模态的地理任务中，基于任务不可知的大型语言模型可以在零样本或少样本学习设置中胜过基于任务特定的全监督模型，但是在其他涉及多种数据模态的地理任务上，现有的基础模型仍然不如基于任务特定的模型表现。因此，通过处理不同的地理数据模态，建议可能性使用能够通过地理对齐来推理各种类型的地理数据的多模态基础模型来应对地理人工智能挑战的多模态特征。

    Apr, 2023

  • 大型多模态模型：CVPR 2023教程笔记

    该论文总结了CVPR2023最新视觉基础模型进展讲座中有关多模式GPT-4模型的演示，介绍了最新的大规模语言模型中的指令调整、多模态空间的扩展，以及如何用开源资源构建多模态GPT-4模型的最小原型等热门话题。

    Jun, 2023

  • 多模态基础模型：从专家到通用助手

    本文综述了多模基础模型的分类和演变，重点关注从专业模型到通用助手的转变。研究领域包括两个核心主题：(i) 针对特定目的预训练的多模基础模型，包括学习视觉骨干进行视觉理解和文本到图像生成的方法；(ii) 旨在充当通用助手的多模基础模型的最新进展，包括受大型语言模型启发的统一视觉模型、多模语言模型的端到端训练以及将多模工具与语言模型相结合的方法。本文面向计算机视觉和视觉语言多模社区的研究人员、研究生和专业人士，他们渴望了解多模基础模型的基础知识和最新进展。

    Sep, 2023

  • 多模态基础模型在地理、环境、农业和城市规划应用中的承诺与挑战

    GPT-4V在地理学、农业和城市规划领域的绩效评估中展现出潜力，但在一些需要细粒度识别和精确计数的任务中存在局限性。

    Dec, 2023

  • 深入多模态多任务基础模型探索道路场景理解：从学习范式视角

    基于多模态多任务视觉理解基础模型（MM-VUFMs）的研究综述，旨在提供道路场景下 MM-VUFMs 的综合概述，包括任务特定模型、统一多模态模型、统一多任务模型和基础模型推进技术，并突出其在不同学习范式中的高级能力。

    Feb, 2024

  • ELEV-VISION-SAM: 综合视觉语言和基础模型用于建筑物最低地板高程的自动估计

    该研究通过将Segment Anything模型与视觉语言模型相结合，对街景图像进行文本提示图像分割，从而改进了街景图像的分割质量及其在低洼地区的可见性估计模型，从33%提高到56%。这个方法不仅推进了城市分析中的街景图像分割，还为其他土木工程和基础设施分析任务的图像分割提供了新的方法。

    Apr, 2024

  • 基于视觉-语言模型实现建筑环境零注释的方法

    本研究解决了高保真建筑环境数字表示需求与高成本人工注释之间的矛盾。通过使用视觉-语言模型和分段策略，抵消了对人工注释的依赖，实验结果显示，采用预分段策略的模型在多个城市特征的注释中达到了接近40%的交并比准确率。这一发现为自动注释建筑环境的研究开辟了新方向，以提升公平性、可及性和安全性。

    Aug, 2024

  • MMIU：用于评估大型视觉语言模型的多模态多图像理解

    本研究解决了大型视觉语言模型（LVLMs）多图像处理能力评估不足的问题。提出的多模态多图像理解（MMIU）基准是一个全面的评估套件，涵盖了7种多图像关系、52个任务和77K图像，揭示了即使是最先进的模型在空间理解任务中仍面临显著挑战。这一基准有望推动LVLM研究和开发前沿的发展。

    Aug, 2024

  • UrBench：用于评估大型多模态模型在多视角城市场景中表现的综合基准

    本研究针对现有城市环境基准评估中存在的不足，提出了UrBench，一个全面的基准，用于评估大型多模态模型在复杂多视角城市场景中的能力。研究显示，即使是表现最佳的GPT-4o在多项任务中的表现也落后于人类，平均性能差距达到17.4%，揭示了当前模型在城市环境中存在的显著挑战。

    Aug, 2024

  • BuildingView：利用街景影像和多模态大型语言模型构建城市建筑外观数据库

    本研究解决了城市建筑外观数据库构建中的准确性和细节问题，强调了能源效率、环境可持续性和以人为本设计的关键指标。提出的BuildingView方法结合了Google街景的高分辨率视觉数据和OpenStreetMap的空间信息，显著提高了城市研究中的数据准确性和系统性。该数据库经过纽约市、阿姆斯特丹和新加坡的数据验证，为城市规划、建筑设计和环境政策提供了全面支持。

    Sep, 2024