ACLSep, 2023

推特上影响者内容的多模态分析

PDF
TL;DR本研究介绍了一个新的推特数据集，并使用文本和视觉信息实验了多模型预测方法，表明我们提出的交互注意力方法在检测商业推广内容方面优于现有的多模态模型。我们还对模型的优势和局限性进行了彻底分析，结果显示多模态建模有助于识别商业帖子，减少误报，并捕捉有助于发现未公开商业帖子的相关上下文。
influencer marketingregulatory compliance breachesautomatic detectioncommercial influencer contentmultimodal modeling
发现论文，激发创造
  • 多模态分类分析社交媒体

    本研究使用池化层和辅助学习任务进行多模态社交媒体数据分类，具有良好的鲁棒性和高准确性，并与传统融合方法相比有着显著的优势。

    Aug, 2017

  • 利用口碑文本和人口统计学的多模态深度学习预测客户评分：在市场营销中处理消费者异质性

    本研究构建了一个产品评价模型，通过多模态学习在线产品评价和消费者个人信息，考虑了消费者异质性，同时比较了不同模态或超参数的多个模型，以展示多模态学习在营销分析中的稳健性。

    Jan, 2024

  • 多模态虚假信息检测：方法、挑战及机遇

    本文分析社交媒体中多模态环境下的虚假信息与图片 / 视频利用的挑战和机会，探讨现存技术及其不足，旨在进一步提升多模态虚假信息检测的技术。

    Mar, 2022

  • MM-AU: 广告视频的多模态理解

    广告视频对于互联网电子商务领域至关重要，通过简洁的叙事结构，它们可以将特定产品的影响力扩大到广泛的观众，或者作为提高意识的媒介来引起特定问题的关注。本研究提出了一个多模态多语言的基准模型 MM-AU，通过收集来自多个网络来源的超过 8.4K 个视频（147 小时），以三个重要维度（主题分类、感知色调转变和社会信息检测）促进对广告的理解，并通过在广告剧本上应用大型语言模型来探索多个零 - shot 推理基线。此外，我们证明，在多模态变压器模型中利用音频、视频和文本等多种信号，相比单模态方法，可以提高性能。

    Aug, 2023

  • 多模态推文情感分析方法的公平和全面比较

    本文主要研究社交媒体上的观点和情感分析，提出了六种最先进的方法，并重新实现其中一种以进行综合实验评估和比较。此外，研究了覆盖内容不同方面的不同文本和视觉特征嵌入以及最近引入的多模式 CLIP 嵌入等。研究结果基于发布在公共数据集的推文和相应的图像进行比较，引入了可复制和公平的评估方案。最后，还对方法的局限性和未来工作的可能性进行了误差分析。

    Jun, 2021

  • 社交对话：在社交媒体上捕捉议程和情绪

    通过提取社交媒体上的信息可获得人们对公共事件的意见和社会动态的有价值见解，本文提出了一种从特定话题的用户组讨论中提取影响指标的新方法，重点关注议程控制和情感语言的使用。

    Feb, 2024

  • 多模式多任务学习中广告理解基准测试

    为了更好地了解广告的主题和情感，本文提出了一种新颖的深度多模态多任务框架，将多种模态整合起来，同时实现广告的主题和情感的预测。通过多模态注意力模块，该模型在最新的大型广告数据集上实现了最先进的性能。

    Dec, 2019

  • M2SA：用于推特情感分析的多模态、多语言模型

    近年来，多模态自然语言处理引起了广泛关注，但我们需要更清晰地分析多语言环境下的多模态任务。本文通过一个简单的策划过程，将一份现有的文本 Twitter 情感数据集转化为多模态格式，从而填补了先前主要关注英语的情感分析研究的空白，并为研究界开辟了情感相关研究的新领域。此外，我们利用这个增强的数据集进行了基准实验，并报告了结果。值得注意的是，我们的评估结果显示，在单模态和多模态配置相比较时，使用一个经过情感调整的大型语言模型作为文本编码器表现出色。

    Apr, 2024

  • M2Lens：情感分析多模型的可视化与解释

    该研究提出了一种交互式的可视化分析系统，M2Lens，用于可视化和解释基于深度学习的多模态情感分析模型，提供了全局、子集和局部水平上的模态间互动的解释，从语言、声学和视觉模式探索模型行为。

    Jul, 2021

  • 基于大规模语言模型的可解释的多模态情感分析

    本研究提出了一种新方法，将非语言模态转化为文本描述，并使用大规模语言模型进行情感预测，从而提高情感分析的可解释性。在两个情感分析任务上的实验结果表明，该方法在维持或甚至提高了情感分析的效率的同时，使解释更为直接。

    May, 2023