Apr, 2020

利用多模态深度学习分析社交媒体数据，以用于灾害响应

PDF
TL;DR本论文使用多模态深度学习技术，提出了一种分析社交媒体数据中文字和图像模态的联合表征，并在真实的灾难数据集上进行了广泛的实验，证明了该多模式架构比单模型（例如，仅使用文本或图像）的模型表现更好。
social mediadisaster eventsmultimodal deep learningconvolutional neural networksperformance
发现论文，激发创造
  • CrisisMMD：自然灾害的多模态 Twitter 数据集

    通过收集自然灾害期间 Twitter 上的大量多模态数据集，为人道主义组织提供了有用的三种注释类型以解决危机响应和管理任务，特别关注社交媒体上的图像内容在减灾救灾中的作用。

    May, 2018

  • 社交媒体危机事件的多模态分类

    本文介绍一种新的多模态融合方法，使用图形建模和交叉注意力，将图像和文本进行联合处理以提高应急响应能力。通过三个危机相关任务的测试，表明我们的方法明显优于单模态方法和基准的多模态方法。

    Apr, 2020

  • GaLeNet: 灾害预测、管理和救援的多模态学习

    提出多模态机器学习框架，并将预灾图像、气象数据和飓风轨迹相结合，以有效评估灾害的严重程度，从而避免决策延迟。

    Jun, 2022

  • 社交媒体图像的损伤定位与量化

    本文提出了一种基于卷积神经网络和类别激活映射的新方法，用于在社交媒体图像中定位灾害损失并量化其程度，从而提供一种相对于昂贵的地理信息系统方法更为经济有效的、基于社交网络图像的灾后损失评估方案。

    Jun, 2018

  • 多模态分类分析社交媒体

    本研究使用池化层和辅助学习任务进行多模态社交媒体数据分类，具有良好的鲁棒性和高准确性，并与传统融合方法相比有着显著的优势。

    Aug, 2017

  • 应用在线深度学习处理社交媒体信息的危机响应

    本文提出使用深度神经网络，通过随机梯度下降算法在线训练，处理 Twitter 中的人道主义信息反应，包括鉴别信息推文和分类主题。

    Oct, 2016

  • 利用多模态框架进行全球灾害预测的多样数据驱动

    随着气候变化加剧，准确的全球规模灾害预测变得迫切。本研究提出了一种新颖的多模态灾害预测框架，结合了天气统计数据、卫星图像和文本洞察。我们特别关注 “洪水” 和 “滑坡” 的预测，因为它们与气象和地形因素相关。该模型基于现有数据精心设计，并实施策略来解决类别不平衡问题。虽然我们的研究结果表明，整合多种数据来源可以提升模型性能，但增强程度因每种灾害的特性和其独特的根本原因而有所不同。

    Sep, 2023

  • 社交媒体与卫星图像中的自然灾害检测：综述

    本文通过对社交媒体和卫星影像等灾害相关多媒体内容的回收、整理和分析，总结了灾害检测和多媒体内容分析的已有研究成果，包括文本、社交媒体视觉内容和卫星影像三个领域，并提出了未来趋势和面临的挑战。

    Jan, 2019

  • 多模态虚假信息检测：方法、挑战及机遇

    本文分析社交媒体中多模态环境下的虚假信息与图片 / 视频利用的挑战和机会，探讨现存技术及其不足，旨在进一步提升多模态虚假信息检测的技术。

    Mar, 2022

  • 使用多模态深度学习整合医学影像与临床报告进行先进疾病分析

    通过创新的多模态深度学习模型，本文旨在深度整合医学图像和临床报告等异构信息。使用卷积神经网络提取高维特征，捕捉关键视觉信息；利用双向长短时记忆网络结合注意机制，在临床报告文本中进行深度语义理解，准确捕捉与疾病相关的关键陈述。通过设计的多模态融合层，有效实现图像和文本的联合表征学习。实证研究中，利用大型医学图像数据库和相应的临床报告进行模型训练和验证，实验结果明显展示了多模态深度学习模型在疾病分类、损伤定位和临床描述生成方面的显著优越性。

    May, 2024