Ruixue Ding, Boli Chen, Pengjun Xie, Fei Huang, Xin Li...
TL;DR该研究提出了一种新颖的多模态地理语言模型 (MGeo) 用于查询 - POI 匹配，通过将地理信息视作一个新的模态，在提取多模态相关性的同时准确表示查询中的多个地理对象，提升了通用 PTMs 的查询 - POI 匹配能力。
Abstract
As a core task in location-based services (LBS) (e.g., navigation maps),
query and point of interest (POI) matching connects users' intent with
real-world geographic information. Recently, pre-trained models (PTM
本文提出了一种融合文本和图像信息的多模态 POI 标注方法 (M3PT)，通过领域自适应图像编码器 (DIE) 和文本 - 图像融合模块 (TIF) 以及对比学习策略，实现了更好的 POI 标注效果，作者在阿里飞猪的真实商务场景构建了两个高质量的 POI 标注数据集，并证明其方法优于单模态和多模态基线模型。