本文介绍一种新的多模态融合方法，使用图形建模和交叉注意力，将图像和文本进行联合处理以提高应急响应能力。通过三个危机相关任务的测试，表明我们的方法明显优于单模态方法和基准的多模态方法。

Apr, 2020

多模态情感分析的研究中，我们引入了一个以文本为导向的交叉注意力网络（TCAN），强调文本在情感分析中的主导作用。通过对多模态样本进行自注意力和文本查询交叉注意力操作，我们减少了噪声信号和冗余特征的影响，并通过背向传播的方法实现了异质情感倾向的深入理解。实验证明，TCAN 在 CMU-MOSI 和 CMU-MOSEI 两个数据集上始终优于最先进的多模态情感分析方法。

Apr, 2024

本研究提出了多模态事件关系的新任务，并开发了一个大规模数据集和一种基于外部知识库的弱监督多模态方法，为人工智能系统实现媒体理解和跨媒体事件关系建立提供了支持。

Jun, 2022

本论文使用多模态深度学习技术，提出了一种分析社交媒体数据中文字和图像模态的联合表征，并在真实的灾难数据集上进行了广泛的实验，证明了该多模式架构比单模型（例如，仅使用文本或图像）的模型表现更好。

Apr, 2020

提出一种基于知识引导的双一致性网络，用于检测具有多媒体内容的谣言，该网络具有两个一致性检测子网络，可同时捕获跨模态和内容 - 知识水平的不一致性，并在不同丢失视觉模态条件下实现鲁棒的多模态表示学习。该框架在三个公共实际多媒体数据集上的广泛实验表明，可以在完整和不完整的多模态条件下优于最先进的基线。

Jun, 2023

本文提出了一个名为 CAMEL 的跨模态增强多媒体事件学习方法（Cross-modality Augmented Multimedia Event Learning），它使用了人工生成的多模态训练数据，实现了领先水平，并在多媒体事件提取方面优于现有研究。

Jun, 2023

本文研究了使用多模态多头自注意力机制和图像文字化技术，提高社交媒体帖子中关键词预测的效果，并在 Twitter 上的大规模数据集中获得了优异的表现。

Nov, 2020

自动总结大规模突发事件在灾难管理中起着关键作用。CrisisFACTS 的第二版旨在基于多流事实查证，重点关注 Twitter、Reddit、Facebook 和 Webnews 等网络信息源的灾难总结。本文描述了我们解决这个具有挑战性任务的方法。我们依照以前的工作，并提出使用检索、重新排序和简单指令遵循总结相结合的方法。两阶段检索管道依赖于 BM25 和 MonoT5，而总结模块基于开源大型语言模型 LLaMA-13b。对于总结，我们采用了一个问题回答 (QA) 驱动的提示方法，并发现证据对于提取与查询相关的事实是有用的。自动评估和人工评估结果表明具有很强的效果，但也凸显了开源和专有系统之间的差距。

Feb, 2024

提出了一种基于知识增强的注意力网络，采用分组语义模型，能够生成比现有方法更合理和流畅的多模态视觉叙事，并在客观和主观评估指标上显示出优越性能。

Mar, 2022

该研究提出一种构建多模态知识图谱，将视觉对象和命名实体联系起来并同时捕捉实体之间的关系在内的新方法，以帮助名实体感知图像并生成更具信息量的事件描述。

Jul, 2021