预训练的 Transformer 揭示人类移动数据中有意义的模式

Jun, 2024

预训练的 Transformer 揭示人类移动数据中有意义的模式

Pre-trained Transformer Uncovers Meaningful Patterns in Human Mobility Data

Alameen Najjar

TL;DR基于国家级无标签人类流动数据进行事先训练的转换器能够通过微调形成对目标地理区域及其相应流动模式的深入理解，我们的预先训练嵌入在涵盖与人类流动直接和间接相关的广泛概念方面表现出良好性能，包括地理位置、距离、行政区划和土地覆盖等，通过大量实证分析，我们发现预先训练可以显著提升性能，在树木覆盖回归等任务中达到 38％，我们将这一结果归因于预先训练能够揭示原始数据中隐藏的有意义模式，并有助于建模相关的高级概念，预先训练的嵌入成为表征区域和轨迹的强大工具，在广泛的后续应用中具有潜在价值。

Abstract

We empirically demonstrate that a transformer pre-trained on country-scale unlabeled human mobility data learns embeddings capable, through fine-tuning, of developing a deep understanding of the target geography

transformer pre-training human mobility geographic understanding embeddings downstream applications

发现论文，激发创造

预训练移动转换器：人类移动性基础模型

利用大量的无标签用户轨迹序列，我们引入了预训练移动性 Transformer（PMT）模型，通过将地理区域转化为标记并在这些表示中嵌入空间和时间信息，从而理解城市空间和人类移动性的基础。在三个美国大都市地区进行的实验证明了 PMT 在捕捉地理和社会人口特征以及预测下一个位置、轨迹完整和轨迹生成等任务方面的优越性，为解码人类移动性的复杂模式和洞察城市空间功能和个体移动偏好提供了新的见解。

May, 2024

通过高效的分层位置表示在个人轨迹中进行预训练的上下文位置嵌入

通过预先训练基于位置的嵌入来提高位置服务的性能，并利用 Geo-Tokenizer 减少训练的位置数量，在考虑位置的时间依赖性的同时，有效地训练分解的位置，从而提供更少的模型参数并改善下游任务的性能。

Oct, 2023

GeoFormer：使用生成式预训练变形器（GPT）预测人类流动性

GeoFormer 是一种基于 GPT 架构的解码器转换器模型，通过在 HuMob Challenge 2023 中的测试和排名中表现出色，在灾害准备、流行病控制等领域的人类流动性预测方面具有巨大潜力。

Nov, 2023

流行病模型中的人类移动性预测简要调查：从 Transformers 到 LLMs

本文综述了最近在利用机器学习技术（尤其是 Transformer 模型）预测疫情期间人类流动模式方面的进展。了解疫情期间人们的流动情况对于建立疾病传播模型和制定有效的应对策略至关重要。预测人口流动对于提供流行病学模型的信息和在公共卫生紧急情况下实施有效的应对计划非常关键。预测流动模式可以使当局更好地预测疾病的地理和时间传播情况，更高效地分配资源，并实施有针对性的干预措施。我们回顾了一系列方法，这些方法既利用了像 BERT 这样的预训练语言模型，也利用了专门针对流动性预测任务设计的大型语言模型（LLMs）。这些模型在捕捉文本数据中的复杂时空依赖关系和上下文模式方面表现出重要潜力。

Apr, 2024

地域即行者：基于人类移动性的大规模预训练时空模型用于普遍城市感知

基于人员流动数据的大时空模型提供了用户描述、区域分析和轨迹生成等领域潜在的发展机会。

Nov, 2023

TrTr：一种基于 Transformer 的多功能预训练大型交通模型，用于捕捉车辆群体中的轨迹多样性

使用 Transformer 技术，通过分析其注意机制并设计特定的预训练任务，可以学习车辆群体内轨迹的多样性，同时预训练模型在捕捉车辆群体的空间分布方面表现出色，并能准确预测时间序列中的轨迹速度。

Sep, 2023

MobilityGPT：基於 GPT 模型的增強人類移動行為建模

通过提出地理感知的生成模型 MobilityGPT，该研究利用生成预训练变压器（GPT）将人类移动性建模为一个自回归生成任务，并采用基于引力的抽样方法和道路连接矩阵来确保生成的轨迹符合地理空间限制，在减轻挑战的同时生成高质量、接近真实数据的移动轨迹。

Feb, 2024

基于 Transformer 序列到序列模型的城市道路网络中使用 NLP 实现的轨迹映射匹配

使用基于变压器的编码器 - 解码器模型，将噪声 GPS 数据转化为城市道路网络上的导航路线，大规模地理定位遥测数据对于增强智能城市的移动基础设施和操作系统具有巨大潜力。

Apr, 2024

使用预训练转换器进行人类级自然语言处理的实证评估：样本大小和维度的作用

本文系统研究了在人类级别 NLP 任务如何通过降维方法及向量嵌入维度与样本大小来提高预测性能，其中 RoBERTa 模型在使用 PCA 降维时处理长文本用户表现更佳，大多数任务仅需 1/12 的向量嵌入维度即可达到最佳表现。

May, 2021

基于知识感知的图形转换器用于行人轨迹预测

该论文提出了一个图变换器结构来改进预测性能，捕捉数据集中不同场所和情景之间的差异，并设计了一种自注意机制和域适应模块来提高模型的泛化能力。此外，还引入了一种考虑跨数据集序列的额外指标用于训练和性能评估目的。使用 ETH 和 UCY 等流行的公共数据集验证和比较了所提出的框架，实验结果表明了我们提出的方案的改进性能。

Jan, 2024