本文提出一种方法，利用文本和图像的多模态信息进行 POI 类型（地点类型）预测，该方法从文本和图像中提取相关信息，有效捕捉文本和图像之间的交互，实现了 47.21 的宏 F1 表现，且在八个类别方面显著优于基于纯文本方法的 POI 类型预测最先进方法。最后，我们对跨模态交互和我们最佳性能模型的局限性进行了详细的分析。

Sep, 2021

该研究提出了一种新颖的多模态地理语言模型 (MGeo) 用于查询 - POI 匹配，通过将地理信息视作一个新的模态，在提取多模态相关性的同时准确表示查询中的多个地理对象，提升了通用 PTMs 的查询 - POI 匹配能力。

Jan, 2023

我们提出了 PoIFusion，这是一个简单而有效的多模态 3D 物体检测框架，用于在兴趣点（简称 PoI）处融合 RGB 图像和 LiDAR 点云的信息。

Mar, 2024

本文提出了一个新的任务叫做多模态实体标记 (MET) 以及一个多模态知识库，并开发了一个数据集以解决该问题。使用信息检索范式解决此任务并使用 NLP 和 CV 中最先进的方法实现了几个基线。结果表明，该任务具有挑战性，但当前技术可以实现相对较高的性能。

Dec, 2021

本文提出了一种用于视频 - 文本检索的 TABLE（标记前对齐）网络，该网络通过标记将多模态信息显式地集成在一起，并在视觉编码器、标记编码器、文本编码器和带有标记引导的跨模态编码器的联合编码下，使用预训练的多模态专家从多模态中提取信息。实验表明，TABLE 模型在 MSR-VTT、MSVD、LSMDC 和 DiDeMo 等多个视频 - 文本检索基准中表现出了最先进的性能。

Jan, 2023

提出一种新颖的自监督点云表示学习方法 MM-Point，通过多模态交互和传输同时处理三维物体和多个二维视图之间的一致跨模态目标，以及通过多个 MLP 和多层次增强策略来更有效地实现二维多视图信息的一致性对比学习，进一步学习了二维多视图的多层次不变性。MM-Point 在各种下游任务中展现出最先进的性能，如在合成数据集 ModelNet40 上达到了 92.4% 的峰值准确率，在真实数据集 ScanObjectNN 上达到了 87.8% 的最高准确率，与全监督方法可媲美。此外，我们还展示了它在少样本分类、三维部分分割和三维语义分割等任务中的有效性。

Feb, 2024

该研究提出了一种成本效益高且精确的道路分割解决方案，通过在多任务学习架构中整合来自多个传感器的数据，利用多模态系统比单模态系统能够产生更可靠的结果，使用原始传感器输入而非高预处理成本的架构，同时将 RGB 和 LiDAR 深度图像作为网络的输入，与 IMU/GNSS 惯性导航系统数据进行聚合，实验证明该方法在 KITTI 数据集和 Cityscapes 数据集上都取得了快速且高性能的解决方案，可以与不同的传感器模态一起使用，推理时间非常适合实时实验。

Aug, 2023

考虑用户签到的不确定性因素，本研究提出了一个新的鲁棒的 POI 推荐问题，并提出了一种 Bayes 增强的多视图关注网络，以解决现有方法在不完整和嘈杂的签到数据下的推荐性能问题。

Nov, 2023

本文提出了一种基于图像与文本对齐的多模态命名实体识别技术，通过将图像特征与文本信息在文本空间中对齐，将两者之间的交互作用结合在一起，以此提高命名实体识别的准确性。

Dec, 2021

提出了一种基于深度学习的两步预测框架，通过丰富输入特征、引入遥感数据和构建 QR-P 图等方法来解决点兴趣预测中的挑战，并通过实证研究证明了该方法的优越性。

Mar, 2024