MMJun, 2023

社交帖子位置推断的多模态表示学习

PDF
TL;DR本文提出了一种多模式表示学习框架 (MRLF)，该框架可以融合社交帖子的不同模态信息进行位置推断，并运用多头注意力机制增强位置显著信息抽取，以及考虑社交帖子文本和标签之间的相对依赖关系进行多模式信息融合。实验结果表明 MRLF 可以进行准确的位置预测，并为理解社交帖子的多模式数据提供了新的途径。
geographic locationssocial postsmulti-modal informationlocation inferenceattention mechanism
发现论文，激发创造
  • 基于相似度引导的多模态融合 Transformer 在社交媒体中的语义地点预测

    利用相似度引导的多模态融合变压器 (SG-MFT) 来预测社交用户的语义位置，该方法通过使用预训练的大规模视觉 - 语言模型提取高质量特征表示，并引入了相似度引导的交互模块 (SIM) 以减轻异构性和噪声干扰，并且通过相似度感知的特征融合模块 (SFM) 有效地融合了两个模态。实验证明了该方法在处理异构性和保持高效融合中的优越性能。

    May, 2024

  • 一个基于 Transformer 的 POI 级社交帖地理定位框架

    提出了基于 Transformer 的社交媒体 POI 级地理位置推测通用框架，考虑非文本数据，优化特征表示及位置捕捉，实验结果证明该框架在多项指标上均优于多种先进基线。

    Oct, 2022

  • 多视角深度学习预测 Twitter 用户位置

    本文提出了一种名为 MENET (Multi-Entry Neural Network Architecture) 的深度学习模型，能够综合使用利用 Twitter 用户生成内容、用户间连接性以及元数据等多种数据表示方式进行 Twitter 用户地理位置预测，且在三个基准数据集上表现显著优于现有方法。

    Dec, 2017

  • 使用神经网络从异构证据学习个体的多方面表示

    我们采用神经网络学习个人的多维表示，结合社交媒体上的丰富语言和网络证据，从而综合推断人们在线的潜在属性，包括性别、职业、位置和友谊，并在推特上实现了分类、学习表示和预测任务的提高性能。

    Oct, 2015

  • 基于网络数据的自监督学习在多模态检索中的应用

    通过利用 Web 和 Social Media 数据，本文提出一种利用多模态图像和文本嵌入的自监督学习方法，在不需要人工注释的情况下学习强大的特征，并将文本领域学到的语义知识转移至视觉模型用于语义图像检索任务。研究分析了五种不同的文本嵌入方法，表明利用 Web 和 Social Media 数据学习的嵌入具有与监督方法相当的性能，且在训练目标数据时优于最先进方法。最后，介绍了 InstaCities1M 数据集，并演示了如何利用该数据集进行语义多模态图像检索。

    Jan, 2019

  • 基于社交网络和内容的用户和关系多位置分析

    本文旨在使用推特用户的关注网络和推文来进行多重位置简介。作者提出了一个多重位置简介模型（MLP），该模型不仅可以准确和完全地发现用户的位置，而且还可以通过揭示关系中用户的真实位置来 “解释” 每个关注关系。MLP 在大型数据集上的实验表明了其优势。

    Aug, 2012

  • 借用人类感官：面向社交媒体多模态分类的评论感知自我训练

    本研究提出了一种利用用户评论建模和自监督学习的方法，用于在社交媒体上进行图像文字关系分类、讽刺检测、情感分类和仇恨言论检测等多模态分类任务，结果表明该方法进一步提高了先前最先进模型的性能。

    Mar, 2023

  • 从网络数据中通过深度语义嵌入学习学习

    本研究提出利用网络和社交媒体数据来学习多模态图像和文本嵌入，旨在将在文本领域中学到的语义知识转移至用于语义图像检索的视觉模型。研究结果表明，利用带有相关文本的图像进行无监督学习的流程能够在三个基准测试中学习五种不同的文本嵌入，并在面向文本的图像检索任务中表现出与受监督方法竞争性的性能。在目标数据中训练时，我们在 MIRFlickr 数据集中明显优于现有技术。进一步，我们展示了如何使用学习到的嵌入执行语义多模态图像检索，超越了传统的实例级检索问题。最后，我们提出了一个新的数据集（InstaCities1M），由 Instagram 图像及其相关文本组成，可用于公平比较图像 - 文本嵌入方法。

    Aug, 2018

  • 基于多粒度信息融合的社交媒体多模态假新闻检测

    文章介绍了一种用于检测假新闻的多粒度多模态融合网络模型，并将模型性能与现有方法进行了比较。

    Apr, 2023

  • 利用视觉上下文辅助多模式命名实体识别中的文本内表示

    本文在 Twitter 和 Instagram 等社交媒体大规模爆炸的情况下，探索了基于多媒体发布中关于实体识别的问题。我们提出了一种端到端模型，学习了文本和图像的联合表示。模型扩展了多维自我关注技术，其中现在图像有助于增强单词之间的关系。实验表明，我们的模型能够更精确地捕捉文本和视觉语境，实现了 Twitter 多模式命名实体识别数据集的最新结果。

    Apr, 2019