CVPRApr, 2020

社交媒体危机事件的多模态分类

PDF
TL;DR本文介绍一种新的多模态融合方法，使用图形建模和交叉注意力，将图像和文本进行联合处理以提高应急响应能力。通过三个危机相关任务的测试，表明我们的方法明显优于单模态方法和基准的多模态方法。
image classificationnatural language processingemergency responsemultimodal fusioncrisis-related tasks
发现论文，激发创造
  • CrisisKAN: 危机事件分类的知识注入和可解释的多模态注意力网络

    提出了 CrisisKAN，一种新颖的知识注入和可解释的多模态注意力网络，结合了来自维基百科的图像和文本以分类危机事件。实验证明，CrisisKAN 在解释性多模态事件分类领域超过了现有的最先进方法。

    Jan, 2024

  • 利用多模态深度学习分析社交媒体数据，以用于灾害响应

    本论文使用多模态深度学习技术，提出了一种分析社交媒体数据中文字和图像模态的联合表征，并在真实的灾难数据集上进行了广泛的实验，证明了该多模式架构比单模型（例如，仅使用文本或图像）的模型表现更好。

    Apr, 2020

  • CrisisMMD：自然灾害的多模态 Twitter 数据集

    通过收集自然灾害期间 Twitter 上的大量多模态数据集，为人道主义组织提供了有用的三种注释类型以解决危机响应和管理任务，特别关注社交媒体上的图像内容在减灾救灾中的作用。

    May, 2018

  • 多模态分类分析社交媒体

    本研究使用池化层和辅助学习任务进行多模态社交媒体数据分类，具有良好的鲁棒性和高准确性，并与传统融合方法相比有着显著的优势。

    Aug, 2017

  • 多模态事件图：走向多模态世界的事件中心理解

    本研究提出了多模态事件关系的新任务，并开发了一个大规模数据集和一种基于外部知识库的弱监督多模态方法，为人工智能系统实现媒体理解和跨媒体事件关系建立提供了支持。

    Jun, 2022

  • 处理社交媒体危机信息分类的数据稀缺问题

    该论文着眼于解决分类危机信息难以获取数据的挑战，提出了通过域自适应来学习分类模型并应用于多对多危机事件之间的信息过滤，进而证明该方法的有效性。

    May, 2023

  • 大规模紧急情况下的社交媒体信息处理：一项调查

    本文综述了关于应用于应急响应情境下的计算方法处理社交媒体信息的现状，重点研究了从事件检测到行动可用摘要创作的一系列关键子问题。

    Jul, 2014

  • 利用卷积神经网络快速分类社交媒体上的危机相关数据

    本论文旨在介绍基于神经网络的分类方法，该方法针对社交媒体上的危机信息进行二元和多元分类。本方法无需进行特征工程，相比现有的最先进的分类方法，其性能更佳，并可在缺乏标记数据的情况下取得良好的分类效果。

    Aug, 2016

  • 多模态虚假信息检测：方法、挑战及机遇

    本文分析社交媒体中多模态环境下的虚假信息与图片 / 视频利用的挑战和机会，探讨现存技术及其不足，旨在进一步提升多模态虚假信息检测的技术。

    Mar, 2022

  • 利用实体掩蔽语言建模和多任务学习提高危机相关推文分类

    该研究提出了一种基于实体屏蔽语言建模和层次化多标签分类的多任务学习方法，以解决社交媒体危机管理中的事件相关偏差和高度不均衡标签分布问题，并在 TREC-IS 数据集上表现出高达 10% 的 F1 得分绝对性能提升。同时，实体屏蔽可以减少过度拟合和提高跨事件泛化能力。

    Nov, 2022