城市环境中利用集成学习克服 LLM 局限的精确稳健人行道检测

Apr, 2024

城市环境中利用集成学习克服 LLM 局限的精确稳健人行道检测

Precise and Robust Sidewalk Detection: Leveraging Ensemble Learning to Surpass LLM Limitations in Urban Environments

Ibne Farabi Shihab, Benjir Islam Alvee, Sudesh Ramesh Bhagat, Anuj Sharma

TL;DR本研究旨在比较强大的集成模型与最先进的 ONE-PEACE 大型语言模型（LLM）在准确检测人行道方面的效果，准确的人行道检测对于提高道路安全和城市规划至关重要。研究评估了模型在 Cityscapes、Ade20k 和波士顿数据集上的性能，结果显示集成模型在理想条件下的平均交集联合（mIOU）得分分别为 93.1％、90.3％和 90.6％，在理想条件下集成模型略优于 ONE-PEACE LLM，但在嘈杂条件下性能显著下降，而集成模型保持了一致的性能水平，仅观察到渐进性的效率下降。这些发现证明了集成模型的稳健性和可靠性，使其成为改善与道路安全和路缘空间管理相关的城市基础设施的宝贵资产。该研究对城市健康和流动性的广泛背景有积极贡献。

Abstract

This study aims to compare the effectiveness of a robust ensemble model with the state-of-the-art ONE-PEACE Large Language Model (LLM) for accurate detection of sidewalks. Accurate sidewalk detection is crucial i

ensemble model sidewalk detection performance evaluation road safety urban planning

发现论文，激发创造

硅众智慧：LLM 集合预测能力能媲美人工智能准确性

人类预测准确性依赖于 “群体智慧” 效应，即通过对一群个体预测者进行聚合，可以显著提高对未来事件的预测。本研究通过使用由 12 个大型语言模型（LLM）组成的群体，扩展了过去关于大型语言模型作为预测者的研究。结果表明，通过简单且实际可行的预测聚合方法，LLMs 能够获得与人类群体预测锦标赛相媲美的准确性，从而复制了 “群体智慧” 效应，为 LLMs 在社会各个领域的应用开辟了可能。

Feb, 2024

超越分割：多模卷积网络生成路网

这篇论文介绍了一种创新的道路网络生成方法，通过使用多模式大型语言模型 (LLM) 处理航空图像的道路布局，并在输入图像中生成详细的可导航道路网络。我们的模型通过独特的训练方法创造了道路网络，采用了 BLIP-2 架构与预训练的冻结图像编码器和大型语言模型相结合的方法创建了一个多功能的多模式 LLM，实验证明了我们的模型在提供精确和有价值的导航指引方面的有效性，这是增强自主导航系统的重要进展。

Oct, 2023

UrbanLLM：基于大型语言模型的城市自治活动规划与管理

針對城市場景的複雜問題，我們引入 UrbanLLM，這是一個經過微調的大型語言模型，通過分解城市相關查詢為可管理的子任務，識別適合的時空人工智能模型並生成綜合回應，顯著地提升了處理城市活動規劃和管理相關問題的效能，減輕了對人工專家的工作量和依賴。

Jun, 2024

智慧城市交通：用深度学习集成方法进行交通事故检测

本研究对现有的事故检测技术进行了全面的探索研究，重点介绍了尾部碰撞、侧面碰撞和正面碰撞等不同类型的交通事故，并引入了适用于智慧城市交通监控系统的 I3D-CONVLSTM2D 模型架构，结合 RGB 帧和光流信息进行事故检测。实验分析验证了该方法的有效性，该模型在平均精度（Mean Average Precision，MAP）方面表现优异，达到了 87%。同时，本研究还详细阐述了数据不平衡在有限数据集、道路结构和交通场景方面带来的挑战，最终为基于视觉的事故检测系统在智慧城市基础设施中实时集成到边缘物联网设备提供了路径指引。

Oct, 2023

CityBench: 评估大型语言模型作为世界模型的能力

在这篇论文中，我们提出了 CityBench 作为第一个用于评估大规模语言模型在城市领域能力的系统性评估基准，通过构建 CitySim 来整合多源数据并模拟细粒度的城市动态，设计了 7 个任务用于评估 LLMs 作为城市规模世界模型在感知理解和决策制定方面的能力，在 13 个城市的 13 个知名 LLMs 上进行了广泛实验，结果表明 CityBench 的可扩展性和效果，并对未来城市领域 LLMs 的发展提供了启示。

Jun, 2024

大型语言模型作为城市居民：用于个人移动生成的 LLM 代理框架

这篇论文介绍了一种使用大型语言模型（LLM）融入到代理框架中的创新方法，用于灵活高效的个性化移动生成，并重点解决了将 LLMs 与现实世界的城市移动数据对接的三个研究问题：将 LLMs 与丰富的活动数据对接、开发可靠的活动生成策略以及探索 LLMs 在城市移动中的应用。

Feb, 2024

自动驾驶中基于大型语言模型的超对齐框架

我们的研究引入了一个新的安全框架，利用多智能体大语言模型（LLMs）来保护自动驾驶车辆的敏感信息，同时确保 LLM 的输出符合驾驶规定和符合人类价值观。我们使用该框架评估了 11 个大语言模型驱动的自动驾驶提示的安全性、隐私性和成本方面，并对这些驾驶提示进行了问答测试，成功地证明了该框架的有效性。

Jun, 2024

City-LEO：基于端到端优化的透明城市管理系统

我们提出了一个大型语言模型（LLM）的代理人（“City-LEO”），通过交互式对话提高城市管理的效率和透明度，以生成更相关和准确的解决方案。在 E2E 框架的决策过程中，City-LEO 还整合了预测和优化，以应对环境不确定性，并实现透明和可解释的决策过程。在电动自行车共享系统的案例研究中，使用 City-LEO 的数值结果表明它在满面优化问题时具有卓越的性能，用较少的计算时间产生更满意和相关的解决方案，并且在不显著损害准确性的情况下实现更低的全局次优性。总体而言，我们提出的代理人为智慧城市运营管理开发了嵌入 LLM 的 OR 工具提供了希望。

Jun, 2024

利用视觉检测模型增强多模态大型语言模型：实证研究

通过融合先进的目标检测和光学字符识别模型，我们在多模态大型语言模型的基础上进行了实证研究，以改善对细粒度图像理解的能力并减少回应中的虚构现象。我们的研究探讨了融合检测信息的基于嵌入的方法，该方法对原始多模态大型语言模型的影响以及检测模型的互换性。通过与 LLaVA-1.5、DINO 和 PaddleOCRv2 等模型进行系统实验，我们发现我们的方法不仅在特定的视觉任务中提高了多模态大型语言模型的性能，而且保持了其原始优势。结果表明，改进后的多模态大型语言模型在 10 个基准测试中有 9 个超过了先进模型，在规范化的平均得分上取得了最高 12.99% 的提升，标志着多模态理解领域的重大进展。通过发布我们的代码，我们希望进一步探索多模态大型语言模型在细粒度多模态对话能力方面的应用。

Jan, 2024

Traj-LLM：赋能轨迹预测的新探索

使用大型语言模型和创新的技术，本研究拟探索将 LLM 应用于交通场景中的动态车辆轨迹预测任务，以提高预测效果并适应不同情形。

May, 2024