Aug, 2018

超越聪明的叙述：视觉环境和注意力是视频广告情感主要的驱动因素

PDF
TL;DR通过将视频内容拆分为检测到的物体、粗糙的场景结构、物体统计和通过的注视点识别的活动物体，我们测量了每个信息通道的重要性，并发现相比于其它场景元素，通过眼动追踪识别的活动物体和场景结构更好地编码情感信息。从而得出广告情感不仅仅取决于叙述和巧妙使用语言和社交暗示，而是受到视觉信息转化的影响的研究结果。
advertisingautomatic affect recognitionvisual informationobject detectionaffective information
发现论文，激发创造
  • 利用多模态场景信息的情感感知

    利用预训练视觉语言模型从图像中提取前景环境描述，并结合其他多元素素进行情感预测，在自然环境和电视秀等数据集中取得了可行的结果。

    Mar, 2023

  • 评估以内容为中心和以用户为中心的广告情感识别

    本文探讨广告的情感识别、编码方法与实际广告应用，从内容与用户两个视角出发，综合使用情感编码数据集、卷积神经网络、脑电图等技术手段，对相对情感编码方法进行对比研究，首次探究情感编码与广告实际效果的关系。

    Sep, 2017

  • 利用场景文本理解广告

    提出一个并不仅使用视觉特征，还使用从内嵌文本中提取的文本线索实现广告图像自动分类的框架，利用广告图像所含的有意义的文本内容，在分类任务中提供有益的语义解释，并使用现成组件开发框架来展示文本线索在语义分类任务中的有效性。

    Jun, 2018

  • 图像与视频广告自动理解

    本文提出了自动广告理解的问题，并基于两个数据集进行了研究，包含主题和情感、问题和答案、符号引用以及广告使用的最常见的说服策略等多种注释。对于多个预测任务，包括自动回答广告信息问题，我们提供了基线分类结果。

    Jul, 2017

  • 利用共注意力对齐符号和物体以理解视觉广告

    本文提出了一种注意力机制下的嵌入模型，通过利用多模态表示来关联图像提议与符号并从中有效地汇集信息。我们应用多次多模态注意力机制来迭代改进注意力映射，从而提高精确度，并采用最大化边缘损失函数进行端到端学习，证明该模型在广告数据集上的效果优于其他基线模型。

    Jul, 2018

  • 情感：学习真实世界视觉数据的情感解释

    本文介绍一项研究，通过一个包含 85,007 张公开图片、526,749 个情感反应和自由文本解释的大规模数据集，探讨使用自然语言表达对给定视觉刺激的情感反应所引起的情绪反应。研究提出了三个问题来解决这个新任务，并介绍了一些方法和开源数据集。

    Oct, 2022

  • 视频广告理解的多模态框架

    该论文介绍了一种利用多模态技术实现广告视频内容结构化分析的系统，包括场景分割和多模态标记两个任务，通过视觉和文本特征相结合的方法，在 2021 年 TAAC 竞赛中获得了 0.2470 的高得分。

    Aug, 2021

  • 情感图像内容分析：二十年回顾与新视角

    介绍了 AICA 的发展历程及其三个主要挑战，即情感差距、感知主观性和标签噪声与缺失。总结和比较了情感特征提取、学习方法以及 AICA 应用的代表性方法。同时，探讨了未来的挑战和应用前景。

    Jun, 2021

  • 面向上下文感知语音识别的视觉特征

    该论文提出了一种基于 DNN 技术的语音识别系统及 RNN 语言模型来提高视频自动生成的字幕准确性，通过对视频中自动检测到的物体或场景的条件来减少困惑度和提高转录，可以应用于机器人、人机交互及音视频存档索引等领域。

    Dec, 2017

  • MM-AU: 广告视频的多模态理解

    广告视频对于互联网电子商务领域至关重要，通过简洁的叙事结构，它们可以将特定产品的影响力扩大到广泛的观众，或者作为提高意识的媒介来引起特定问题的关注。本研究提出了一个多模态多语言的基准模型 MM-AU，通过收集来自多个网络来源的超过 8.4K 个视频（147 小时），以三个重要维度（主题分类、感知色调转变和社会信息检测）促进对广告的理解，并通过在广告剧本上应用大型语言模型来探索多个零 - shot 推理基线。此外，我们证明，在多模态变压器模型中利用音频、视频和文本等多种信号，相比单模态方法，可以提高性能。

    Aug, 2023