城市区域预训练与提示:基于图的 Approach
提出了一种名为Region2Vec的多图表示学习框架,用于城市区域分析,可以捕捉地理上下文信号和区域间的联系,同时用于表示区域内部信息的知识图谱。使用编码器-解码器多图融合模块来联合学习综合表示。在现实世界数据集上的实验证明,Region2Vec可以在三个应用程序中使用,并优于所有其他基线。特别地,Region2Vec在具有高方差社会经济属性的区域中的表现优于先前的研究。
Feb, 2022
本文介绍了UUKG,即用于知识增强的城市时空预测的统一城市知识图谱数据集。通过构建UrbanKGs并分析其中的高阶结构模式,文章实现了对城市空间时间预测的知识增强,并展示了知识增强模型与不同任务场景下城市知识图谱嵌入方法的潜在联系,其公开的数据集和源代码可在此https URL获取。
Jun, 2023
通过多视图表示学习,我们提出了一种区域化多视图表示学习(ROMER)方法,用于捕捉多视图依赖关系并学习表达性强的城市区域表示。我们的模型关注于从多源城市数据中学习城市区域表示,通过捕捉流动模式、兴趣点语义和签到动态等多视图相关性,采用全局图注意力网络学习图中任意两个顶点的相似度,并进一步提出了一个两阶段融合模块来综合考虑和共享多视图嵌入的特征。对真实世界数据集上的两个下游任务进行的大量实验证明,我们的模型性能优于现有方法,改进了最高达17%。
Jul, 2023
本文提出了一种基于图混合预训练的统一框架,通过提示机制将任务识别和位置识别注入图神经网络,从而有效减小语义差距,实现更好的性能提升。
Oct, 2023
GraphPrompt 是一种基于图的新型预训练和提示框架,通过统一预训练和下游任务,并使用可学习的提示来帮助下游任务以任务特定的方式定位来自预训练模型的最相关知识,进一步提升了预训练和提示方面的性能。
Nov, 2023
基于自监督图协作过滤模型的城市区域嵌入,通过GCNs和多头注意力以及空间扰动增强和对抗训练,优化了区域嵌入的语义表示,实验结果表明该模型优于现有方法。
Feb, 2024
这篇论文介绍了UrbanKGent,一个用于城市知识图谱构建的统一大型语言模型代理框架,通过异构感知的指令生成构建了 UrbanKGC 任务的知识指令集,并提出了一个工具增强的迭代轨迹优化模块。通过在Llama-2-13B上进行混合指令微调,得到了UrbanKGC代理 UrbanKGent-13B。通过实验评估表明,UrbanKGent-13B在UrbanKGC任务中不仅能显著优于21个对比方法,还在低成本的情况下超过了当前最先进的LLM和GPT-4方法。部署UrbanKGent-13B提供在线服务,可通过仅使用现有基准的五分之一的数据,构建出具有数千倍以上关系的UrbanKG。
Feb, 2024
UniST是一个通用模型,通过对多样的时空数据特征的灵活性、精心设计的掩模策略以及时空知识引导的提示,实现对城市时空预测的强大泛化能力,15个城市和6个领域的广泛实验证明了UniST在提升最先进预测性能方面的普适性,特别是在少样本和零样本情况下。
Feb, 2024
CityGPT是一种用于增强大型语言模型在理解城市空间和解决相关城市任务方面能力的系统框架,通过在模型中构建城市规模的世界模型,并使用包含城市知识的多样化指令调整数据集CityInstruction来进行模型微调,实现对城市空间的理解和空间推理能力的有效增强。
Jun, 2024