Jul, 2024

视觉语言模型中的地理定位的细粒度隐私控制

PDF
TL;DRGPTGeoChat 是一个用于测试视觉语言模型在定位对话调节方面能力的新基准；研究发现，定制的微调模型在识别泄露的位置信息方面与被提示的 API 模型具有相当的表现；然而，对于较细粒度的定位信息（如餐厅或建筑物的名称），需要在受监督数据上进行微调以实现精确的调节。
vision language modelsprivacy risksimage geolocationbenchmarkfine-tuned models
发现论文，激发创造
  • GeoChat: 用于遥感的基于大规模视觉语言模型的实体化系统

    GeoChat 是第一个多功能的遥感视觉语言模型，它具备高分辨率遥感图像的多任务对话能力，并能将对象视觉上地与其空间坐标相关联，通过扩展现有多样的遥感数据集中的图像 - 文本对生成了一个新的领域特定的多模态指令跟随数据集，成功解决了现有模型在遥感领域的局限性，并在各个遥感任务上展示了强大的零样本性能。

    Nov, 2023

  • 视觉语言模型是否能够成为良好猜测器？探索 VLM 的时间和位置推理能力

    本文通过引入 WikiTiLo 数据集，并实施两阶段的识别和推理探测任务，研究基于大规模图像 - 文本资源预训练的视觉语言模型是否能够像人类一样通过视觉线索推断图像的时间和地点，并发现 VLMs 虽然能够有效地保留视觉编码器中的相关特征，但仍然无法进行完美的推理。

    Jul, 2023

  • 开拓新领域：探索多模态 LLMs 的地理和地理空间能力

    通过进行一系列实验，我们研究了多模态大型语言模型在地理和地理空间领域的知识和能力，重点关注前沿模型 GPT-4V 的视觉能力，并与开源模型进行性能比较。我们的方法涉及使用一套地理任务的小规模基准测试这些模型，测试它们在不同难度任务上的能力。分析结果揭示了这些模型的优点，包括超过人类的性能，并揭示了它们的不足之处，提供了它们在地理领域能力的全面视角。为了促进未来模型的比较和评估，我们将公开发布我们的基准测试。

    Nov, 2023

  • 隐私感知的视觉语言模型

    本文介绍了一项关于 Visual Language Models（VLMs）处理隐私敏感信息的研究，引入了一个新的基准 PrivBench，并在其中评估了 10 个最先进的 VLMs。研究结果表明，VLMs 对隐私的理解普遍有限，因此提出了一个新的训练数据集 PrivTune，通过在此数据集上调整预训练的 VLMs，取得了对敏感内容的强大识别能力，并说明隐私调整几乎不影响 VLMs 在标准基准测试上的性能。总的来说，本文提出了使 VLMs 在处理现实世界数据时安全有效的重要挑战，并提供了首次构建隐私感知 VLMs 的简单方法。

    May, 2024

  • 使用视觉 - 语言模型从图像中推断私密属性

    通过研究多模式视觉 - 语言模型（VLMs）的影响力，我们发现这些模型能够从在线发布的图像中推理出个人属性，其中 7 个最先进模型的准确性高达 77.6％，这意味着未来的模型可能被用作更强大的对手，需要开发适当的防御机制。

    Apr, 2024

  • LLMGeo: 大规模语言模型在野外图像地理定位中的基准测试

    利用多模态语言模型，我们系统评估其图片地理定位能力，并通过新的图像数据集和全面的评估框架进行训练及非训练的评估。结果表明，闭源模型展示出更好的地理定位能力，而开源模型通过微调可达到相当的性能。

    May, 2024

  • 多模态基础模型在地理、环境、农业和城市规划应用中的承诺与挑战

    GPT-4V 在地理学、农业和城市规划领域的绩效评估中展现出潜力，但在一些需要细粒度识别和精确计数的任务中存在局限性。

    Dec, 2023

  • 注意：大型多模态模型正在关注你的地理隐私

    该研究探讨了地理隐私在增加的在线数据共享和信息收集技术进展的背景下被低估的问题，并重点关注了这些发展对个人隐私的影响。研究通过开发名为 “Dr. Watson” 的基于 GPT-4 的高级 AI 工具，从公开数据源中分析和提取地理信息，展示了这些技术的潜在风险，并揭示了当前地理隐私措施的漏洞。结论强调了在高级 AI 和广泛社交媒体使用时，加强对地理隐私泄露的意识和保护措施的紧迫性。

    Nov, 2023

  • MyVLM: 为用户特定查询个性化 VLM

    对于个性化视觉 - 语言模型，我们探索了增加外部概念头和中间特征空间中的概念嵌入来实现对用户提供的概念的识别和自然整合，并将其应用于个性化图像字幕生成和个性化视觉问答，结果表明模型可以推广到学习概念的未见图像，并保持在无关输入上的模型行为。

    Mar, 2024

  • GeoLLM：从大型语言模型中提取地理空间知识

    在这篇论文中，我们探讨了机器学习在地理空间预测任务中的应用，提出了一种名为 GeoLLM 的新方法，利用大型语言模型中的地理空间信息和开放街道地图的辅助数据，有效地提取地理空间知识，用于测量人口密度等中心问题，相较于最近邻和直接使用提示信息的基准方法，在多个任务上展现了 70% 的性能提升，并且与卫星数据的基准结果相当甚至超出，证明了大型语言模型在地理空间任务上的可行性和潜力。

    Oct, 2023