提出一个并不仅使用视觉特征，还使用从内嵌文本中提取的文本线索实现广告图像自动分类的框架，利用广告图像所含的有意义的文本内容，在分类任务中提供有益的语义解释，并使用现成组件开发框架来展示文本线索在语义分类任务中的有效性。

Jun, 2018

本文介绍了一种使用多模态学习的注意力融合模型来预测广告中运用的说服策略，并使用构建的广告图像语料库对模型的效果进行了测试。测试数据中的图像分割掩模标注了对应广告中的说服策略。通过对 30 所财富 500 强企业的 1600 个广告活动的实际案例研究，可以分析对不同人口统计学数据（年龄和性别）采用哪种策略更有效。

Aug, 2022

广告视频对于互联网电子商务领域至关重要，通过简洁的叙事结构，它们可以将特定产品的影响力扩大到广泛的观众，或者作为提高意识的媒介来引起特定问题的关注。本研究提出了一个多模态多语言的基准模型 MM-AU，通过收集来自多个网络来源的超过 8.4K 个视频（147 小时），以三个重要维度（主题分类、感知色调转变和社会信息检测）促进对广告的理解，并通过在广告剧本上应用大型语言模型来探索多个零 - shot 推理基线。此外，我们证明，在多模态变压器模型中利用音频、视频和文本等多种信号，相比单模态方法，可以提高性能。

Aug, 2023

本文通过使用预训练的 VLM（基础视觉语言模型）进行第一次实证研究图片广告的理解。在此过程中，我们发现了适应这些 VLM 到图像广告理解中的实际挑战，并提出了一种简单的特征适应策略来有效融合图像广告的多模态信息，并进一步强化其对真实世界实体的知识。希望我们的研究能引起更多人对与广告行业广泛相关的图片广告理解的关注。

May, 2023

为了更好地了解广告的主题和情感，本文提出了一种新颖的深度多模态多任务框架，将多种模态整合起来，同时实现广告的主题和情感的预测。通过多模态注意力模块，该模型在最新的大型广告数据集上实现了最先进的性能。

Dec, 2019

通过将视频内容拆分为检测到的物体、粗糙的场景结构、物体统计和通过的注视点识别的活动物体，我们测量了每个信息通道的重要性，并发现相比于其它场景元素，通过眼动追踪识别的活动物体和场景结构更好地编码情感信息。从而得出广告情感不仅仅取决于叙述和巧妙使用语言和社交暗示，而是受到视觉信息转化的影响的研究结果。

Aug, 2018

本文综述了计算机视觉和自然语言处理社区最近对于从自然图像中自动生成描述的兴趣，系统分类了现有的方法并进行了详细回顾，讨论了它们的优缺点，总结了基准图像数据集和评估措施，并展望了未来的发展方向。

Jan, 2016

通过对自动广告理解的对比图像与语言模型进行对比，我们提出了一个新的评估测试集 TRADE，该测试集具有对抗性的基本解释，揭示出模型在多模态推理能力方面的不足。

May, 2024

该论文介绍了一种利用多模态技术实现广告视频内容结构化分析的系统，包括场景分割和多模态标记两个任务，通过视觉和文本特征相结合的方法，在 2021 年 TAAC 竞赛中获得了 0.2470 的高得分。

Aug, 2021

本研究收集了超过 100,000 个视频，建立了 something-something 数据库，并描述了 crowd-sourcing 数据所面临的挑战。该数据库包含了一些需要理解物理世界、具有常识性的视频预测任务。

Jun, 2017