通过提出一种方法，利用和观测数据点的局部密度有关的空间层次信息生成细粒度的地点嵌入，解决了降低空间分辨率时数据稀疏性导致嵌入质量下降的问题。通过使用日本 3 个城市的真实世界轨迹数据进行下一个地点预测任务，比较了我们的细粒度地点嵌入与基准方法的有效性。此外，我们展示了我们的细粒度地点嵌入在土地利用分类应用中的价值。我们认为，将空间分层信息纳入其中可以补充和加强各种地点嵌入生成方法。

Feb, 2020

基于国家级无标签人类流动数据进行事先训练的转换器能够通过微调形成对目标地理区域及其相应流动模式的深入理解，我们的预先训练嵌入在涵盖与人类流动直接和间接相关的广泛概念方面表现出良好性能，包括地理位置、距离、行政区划和土地覆盖等，通过大量实证分析，我们发现预先训练可以显著提升性能，在树木覆盖回归等任务中达到 38％，我们将这一结果归因于预先训练能够揭示原始数据中隐藏的有意义模式，并有助于建模相关的高级概念，预先训练的嵌入成为表征区域和轨迹的强大工具，在广泛的后续应用中具有潜在价值。

Jun, 2024

本文介绍了一种基于神经网络的层级位置预测模型，通过对用户所在国家和城市的层级结构进行考虑，并采用基于字符的词嵌入层来处理噪声数据，在不同特征组合设定下达到了最优结果，提高了预测精度并显著降低了均值误差距离。

Oct, 2019

本文从机器学习的角度提出了位置编码的概念，系统回顾并讨论了当前位置编码研究的现状和挑战，将已有的位置编码模型分类，并探讨了它们与不同类型空间数据的应用，并指出了未来位置编码研究面临的挑战。

Nov, 2021

本文提出了一种基于神经网络模型和高斯分布混合的方法，用于将二维位置嵌入到连续向量空间中。该模型包括两个变体，用于基于文本的地理定位和词汇方言学。在 Twitter 数据上进行评估，该模型优于传统的基于回归的地理定位，并提供更好的不确定性估计。我们还展示了从位置预测词汇在词汇方言学中的有效性，并使用 DARE 数据集进行评估。

Aug, 2017

提出了一个名为 Space2Vec 的表示学习模型，用于将地点的绝对位置和空间关系进行编码，并在地理数据和图像分类两个任务上得到了比径向基函数和多层前馈神经网络等传统机器学习方法更好的效果，其特点是具有多尺度表示能力。

Feb, 2020

提出了基于 Transformer 的社交媒体 POI 级地理位置推测通用框架，考虑非文本数据，优化特征表示及位置捕捉，实验结果证明该框架在多项指标上均优于多种先进基线。

Oct, 2022

利用大量的无标签用户轨迹序列，我们引入了预训练移动性 Transformer（PMT）模型，通过将地理区域转化为标记并在这些表示中嵌入空间和时间信息，从而理解城市空间和人类移动性的基础。在三个美国大都市地区进行的实验证明了 PMT 在捕捉地理和社会人口特征以及预测下一个位置、轨迹完整和轨迹生成等任务方面的优越性，为解码人类移动性的复杂模式和洞察城市空间功能和个体移动偏好提供了新的见解。

May, 2024

本文提出了一种新颖的、简单的、基于位置预测的 Transformer 自监督预训练策略，可以提高 NLP、语音和视觉领域的性能，并使不使用位置嵌入的 Transformers 超越使用完整位置信息的 Transformers。

Jul, 2022

通过提出地理感知的生成模型 MobilityGPT，该研究利用生成预训练变压器（GPT）将人类移动性建模为一个自回归生成任务，并采用基于引力的抽样方法和道路连接矩阵来确保生成的轨迹符合地理空间限制，在减轻挑战的同时生成高质量、接近真实数据的移动轨迹。

Feb, 2024