Dec, 2022

将视频场景的扩散替代梦境用于预测视频的可记忆性

PDF
TL;DR通过 MediaEval 2022 Predicting Video Memorability 任务，我们研究了视觉记忆性、视觉表现和所表现的概念之间的关系，通过仅使用替代梦境图像训练和测试模型，实现了最先进的记忆性预测性能，并找到了强有力的证据表明，视觉内容的内在可记忆性可以被提炼到其基础概念或含义，而不管其具体的视觉表现。
mediaeval 2022video memorabilityvisual representationconceptstate-of-the-art performance
发现论文，激发创造
  • 展示与记忆：学习令视频难忘的因素

    该研究开发了一个视频可记忆性预测模型，并进行了视频子镜头可记忆性预测实验，结果表明该方法比现有的可记忆性方法更有效。

    Jul, 2017

  • MediaEval 2022 视频可记忆性预测任务概述

    本文介绍了第五版 Predicting Video Memorability Task 作为 MediaEval2022 的一部分，并采用 VideoMem 数据集和 Memento10k 数据集进行短期记忆预测，同时还引入了 EEG-based prediction 子任务。

    Dec, 2022

  • MediaEval 2018：媒体记忆任务预测

    本文介绍了 Predicting Media Memorability 任务，它是 MediaEval 2018 多媒体评估基准倡议的一部分。参与者需要设计系统来自动预测视频的记忆得分，该得分反映了视频被记住的概率。与以前的图像记忆预测工作不同的是，该数据集带有短期和长期记忆注释。文章描述了任务的所有特征，包括任务的挑战和突破，发布的数据集和基准，所需的参与者运行和评估度量。

    Jul, 2018

  • 分析一部程序犯罪剧集 CSI 的记忆性

    本文使用细致标注的语料库以及视频记忆分数，通过将视觉变换器 fine-tune 到预测视频记忆的任务，考察了流行的犯罪剧类型在五个季度内的知名度，并分析了视频镜头的记忆度与节目的各方面的关系，进而阐明了视频记忆度在教育、营销、索引等多媒体应用领域的重要性，以及在电视和电影制作中的应用。

    Aug, 2022

  • MediaEval 预测媒体记忆力任务的经验

    本文总结了 MediaEval 评估活动中的媒体记忆度预测任务，包括该任务使用的多个数据集和技术，以及从中得出的结论和对研究社区的启示。

    Dec, 2022

  • 视频 SemNet：带有内存增强的视频语义网络

    该研究通过提出一种机器学习方法，介绍了一种记忆增强视频语义网络来捕捉电影中的叙事元素，从而在两个任务中成功预测电影的流派和 IMDB 评分。

    Nov, 2020

  • 利用显著性和裁剪提高视频记忆能力

    本文通过选择性裁剪基于图像显著性的帧来提高视频的可记忆性

    Sep, 2023

  • 基于非监督在线学习的机器人趣味视觉记忆

    该研究论文探讨了面向移动机器人的有趣场景预测问题，通过使用新颖的、平移不变的视觉记忆来提高模型的准确性，并设计了长期、短期和在线学习三个阶段的系统结构，以实现人类化体验和在线的应用适应性。最终，在多个有挑战性的机器人数据集上，我们的方法达到了比现有算法更高的精度。

    May, 2020

  • 用于视频字幕的多模态记忆建模

    本文提出了一种多模态记忆模型 (M3)，利用视觉和文本共享的记忆来建模长期的视觉 - 文本依赖关系并进一步引导全局的视觉注意力，该方法在公开基准数据集上的实验证明，相比于最先进的方法，本文提出的方法在 BLEU 和 METEOR 方面表现较好。

    Nov, 2016

  • 视频故事嵌入：在数据稀缺时识别事件

    本文提出了一种叫做 VideoStory 的语义视频表示方法，通过学习来自网络视频和其描述的嵌入来构建整个表示，同时通过多模态可预测性损失来提高描述性和可预测性，并利用术语敏感的描述性损失来识别没有例子的视频事件，从而在视频事件的少量和没有例子的识别方面提高了准确性。

    Nov, 2015