展示与记忆:学习令视频难忘的因素
通过 MediaEval 2022 Predicting Video Memorability 任务,我们研究了视觉记忆性、视觉表现和所表现的概念之间的关系,通过仅使用替代梦境图像训练和测试模型,实现了最先进的记忆性预测性能,并找到了强有力的证据表明,视觉内容的内在可记忆性可以被提炼到其基础概念或含义,而不管其具体的视觉表现。
Dec, 2022
本文介绍了 Predicting Media Memorability 任务,它是 MediaEval 2018 多媒体评估基准倡议的一部分。参与者需要设计系统来自动预测视频的记忆得分,该得分反映了视频被记住的概率。与以前的图像记忆预测工作不同的是,该数据集带有短期和长期记忆注释。文章描述了任务的所有特征,包括任务的挑战和突破,发布的数据集和基准,所需的参与者运行和评估度量。
Jul, 2018
广告的可记忆性对品牌认可非常重要,快速移动场景的视频广告比缓慢场景的广告更容易被记住,使用广告拦截器的人记得的广告数量较少。我们提出了一个新模型 Sharingan,通过利用语言模型和视觉编码器的知识,能够预测内容的可记忆性,并在不同数据集上实现了最先进的效果。
Sep, 2023
通过使用基于 Transformer 的模型结合了时空注意机制,我们研究了影响视频记忆性的语义和时间注意机制,并对一个大型自然主义视频数据集上的视频记忆性预测任务表现进行了比较。结果显示模型的注意力与人类凝视的密度图表现出相似的模式,并且模型和人类对于物体类别的关注度与记忆性得分有关。此外,该模型模仿了人类在时间上的注意力,对于初始帧更加重视。
Nov, 2023
本文介绍了第五版 Predicting Video Memorability Task 作为 MediaEval2022 的一部分,并采用 VideoMem 数据集和 Memento10k 数据集进行短期记忆预测,同时还引入了 EEG-based prediction 子任务。
Dec, 2022
本文使用细致标注的语料库以及视频记忆分数,通过将视觉变换器 fine-tune 到预测视频记忆的任务,考察了流行的犯罪剧类型在五个季度内的知名度,并分析了视频镜头的记忆度与节目的各方面的关系,进而阐明了视频记忆度在教育、营销、索引等多媒体应用领域的重要性,以及在电视和电影制作中的应用。
Aug, 2022
该论文将视频摘要提出了内容为基础的推荐问题,使用可扩展的深度神经网络在显式建模的片段和视频上进行预测,通过场景和动作识别来寻找视频理解任务不同方面之间的相关性,同时讨论音频和视觉特征在总结任务中的影响,并通过数据增强和多任务学习来防止模型过度拟合。该模型最终在 ICCV 2019 CoView Workshop Challenge Track 中获得第一名。
Oct, 2019