May, 2024

基于相似度引导的多模态融合 Transformer 在社交媒体中的语义地点预测

PDF
TL;DR利用相似度引导的多模态融合变压器 (SG-MFT) 来预测社交用户的语义位置，该方法通过使用预训练的大规模视觉 - 语言模型提取高质量特征表示，并引入了相似度引导的交互模块 (SIM) 以减轻异构性和噪声干扰，并且通过相似度感知的特征融合模块 (SFM) 有效地融合了两个模态。实验证明了该方法在处理异构性和保持高效融合中的优越性能。
semantic location predictionmultimodal social mediasimilarity-guided multimodal fusion transformermodality heterogeneityfeature fusion
发现论文，激发创造
  • 社交帖子位置推断的多模态表示学习

    本文提出了一种多模式表示学习框架 (MRLF)，该框架可以融合社交帖子的不同模态信息进行位置推断，并运用多头注意力机制增强位置显著信息抽取，以及考虑社交帖子文本和标签之间的相对依赖关系进行多模式信息融合。实验结果表明 MRLF 可以进行准确的位置预测，并为理解社交帖子的多模式数据提供了新的途径。

    Jun, 2023

  • 社交媒体新闻帖子中的多模态语义不一致检测

    本研究提出了一种用于识别社交媒体新闻帖子中视频外观和文本标题之间语义不一致的分类架构，通过使用基于文本分析、自动音频转录、语义视频分析、对象检测、命名实体一致性和面部验证的多模态融合框架来发现社交媒体帖子中的视频和标题之间的不匹配。通过训练和测试基于 4,000 个 Facebook 新闻帖子的新视频数据集，我们的多模态方法在随机标题和外观不匹配的情况下实现了 60.5％的分类准确性，而单模分别准确率不到 50％。进一步的消融研究证实了跨模态融合对于正确识别语义不一致性的必要性。

    May, 2021

  • 基于多粒度信息融合的社交媒体多模态假新闻检测

    文章介绍了一种用于检测假新闻的多粒度多模态融合网络模型，并将模型性能与现有方法进行了比较。

    Apr, 2023

  • 一个基于 Transformer 的 POI 级社交帖地理定位框架

    提出了基于 Transformer 的社交媒体 POI 级地理位置推测通用框架，考虑非文本数据，优化特征表示及位置捕捉，实验结果证明该框架在多项指标上均优于多种先进基线。

    Oct, 2022

  • 视频问答与检索的联合序列融合模型

    本文提出了一种名为 JSFusion（联合序列融合）的方法，可以测量多模式序列数据（例如视频剪辑和语言句子）之间的语义相似性，并通过发现两个序列模态之间的隐藏分层匹配来计算它们的相似度得分，该模型适用于多模式检索和视频 QA 等任务，并在多个数据集上超过了现有的许多最先进的方法。

    Aug, 2018

  • 基于场景图的图像 - 文本检索融合网络

    本研究提出了一种基于场景图融合网络的图像 - 文本检索方法，通过内部和交叉模态融合来增强图像 / 文本特征，并采用层次化的融合注意力来将语义信息嵌入到图像 / 文本特征向量之中，进而进行图像 - 文本的检索任务。实验结果表明，本方法相比其他现有技术，在公开数据集 Flickr30K 和 MSCOCO 上取得了更好的效果。

    Mar, 2023

  • 基于语义引导的基于 Transformer 的传感器融合用于改进航点预测

    传感器融合在智能自驾代理中是关键，本文通过融合辅助任务和利用模仿学习来改进基础网络以提高道路导航的安全性和完整性。

    Aug, 2023

  • 多模态知识图谱完成的多层级融合混合变压器

    本文提出了一种具有多级融合和混合变压器结构的 Multimodal Knowledge Graphs，用于解决多模态知识图谱完成任务中的问题，并在四个数据集上取得了 SOTA 性能。

    May, 2022

  • 相似度感知的多模态提示学习用于假新闻检测

    本篇研究提出了一个基于相似性感知的多模态提示学习框架 (SAMPLE) 用于检测假新闻，通过三种提示模板和一种软性描述器分析，并采用自适应融合方法来减少因不相关的交叉模态特征注入噪音，实验表明相较于先前方法，SAMPLE 在两个基准多模态数据集中的 F1 值和准确性均有所提高。另外，SAMPLE 不论在少量数据或是数据丰富的情况下都优于其他方法。

    Apr, 2023

  • 语义对齐融合 transformer 用于一阶段物体检测

    研究了在数据稀缺的情况下，单次目标检测的问题，提出了一个效果良好的基于注意力机制的框架，名为 Semantic-aligned Fusion Transformer (SaFT)，采用竖直和水平融合模块实现跨尺度和跨样本特征的融合，通过语义对齐的注意力机制大幅提高性能，使得基于目前现有的数据训练的一阶段的检测基线的性能得到了显著提升。

    Mar, 2022