Dec, 2019

多模式多任务学习中广告理解基准测试

PDF
TL;DR为了更好地了解广告的主题和情感，本文提出了一种新颖的深度多模态多任务框架，将多种模态整合起来，同时实现广告的主题和情感的预测。通过多模态注意力模块，该模型在最新的大型广告数据集上实现了最先进的性能。
advertisementmultimediadeep multimodal multitask frameworktopic predictionsentiment prediction
发现论文，激发创造
  • MM-AU: 广告视频的多模态理解

    广告视频对于互联网电子商务领域至关重要，通过简洁的叙事结构，它们可以将特定产品的影响力扩大到广泛的观众，或者作为提高意识的媒介来引起特定问题的关注。本研究提出了一个多模态多语言的基准模型 MM-AU，通过收集来自多个网络来源的超过 8.4K 个视频（147 小时），以三个重要维度（主题分类、感知色调转变和社会信息检测）促进对广告的理解，并通过在广告剧本上应用大型语言模型来探索多个零 - shot 推理基线。此外，我们证明，在多模态变压器模型中利用音频、视频和文本等多种信号，相比单模态方法，可以提高性能。

    Aug, 2023

  • 视频广告理解的多模态框架

    该论文介绍了一种利用多模态技术实现广告视频内容结构化分析的系统，包括场景分割和多模态标记两个任务，通过视觉和文本特征相结合的方法，在 2021 年 TAAC 竞赛中获得了 0.2470 的高得分。

    Aug, 2021

  • 多模态情感识别和情感分析的多任务学习

    本文介绍了一个深度多任务学习框架，通过上下文级别的视听注意力机制来同时进行情感和表情分析，并在 CMU-MOSEI 数据集上达到了新的最佳性能。

    May, 2019

  • 腾讯多模态广告视频理解挑战赛简介

    本文介绍了一个新的挑战赛，旨在全面理解广告视频。该挑战包含两个任务：时间维度的视频结构化和多模式视频分类。

    Sep, 2021

  • 基于大规模语言模型的可解释的多模态情感分析

    本研究提出了一种新方法，将非语言模态转化为文本描述，并使用大规模语言模型进行情感预测，从而提高情感分析的可解释性。在两个情感分析任务上的实验结果表明，该方法在维持或甚至提高了情感分析的效率的同时，使解释更为直接。

    May, 2023

  • 不要购买！重新评估对比式多模态模型的广告理解能力

    通过对自动广告理解的对比图像与语言模型进行对比，我们提出了一个新的评估测试集 TRADE，该测试集具有对抗性的基本解释，揭示出模型在多模态推理能力方面的不足。

    May, 2024

  • 多模态情感分析基准测试

    本研究通过卷积神经网络从文本、视觉等多个角度提取特征，实现了情感分析和情绪识别，并取得了 10% 的性能提升。同时，我们还探讨了在多模态情感分析研究中经常被忽视的若干重要问题，如讲话者无关模型和模态重要性等，从而为今后的研究提出了新的基准，并展示了在执行此类任务时需要考虑的不同方面分析。

    Jul, 2017

  • 利用场景文本理解广告

    提出一个并不仅使用视觉特征，还使用从内嵌文本中提取的文本线索实现广告图像自动分类的框架，利用广告图像所含的有意义的文本内容，在分类任务中提供有益的语义解释，并使用现成组件开发框架来展示文本线索在语义分类任务中的有效性。

    Jun, 2018

  • MM-BigBench：评估多模态模型在多模态内容理解任务上的表现

    通过使用全面的评估框架 MM-BigBench，本文综合评估了 20 个语言模型（包括 14 个多模态大型语言模型）在 14 个多模态数据集上的性能，并通过引入新的指标，对不同模型和指令之间的性能以及适应性进行了评估。

    Oct, 2023

  • 利用口碑文本和人口统计学的多模态深度学习预测客户评分：在市场营销中处理消费者异质性

    本研究构建了一个产品评价模型，通过多模态学习在线产品评价和消费者个人信息，考虑了消费者异质性，同时比较了不同模态或超参数的多个模型，以展示多模态学习在营销分析中的稳健性。

    Jan, 2024