ECCVAug, 2016

深度日记：生活记录图像流的自动生成字幕

PDF
TL;DR提出使用深度学习技术和自动图像字幕生成算法来生成 Lifelogging 摄像机捕捉到的图片的文本表示，通过应用时间一致性约束来创建更加简洁和不含噪声的摘要，研究结果表明，自动字幕生成算法可以帮助用户管理 Lifelogging 照片集合。
lifelogging camerasautomatic image captioningdeep learningtemporal consistencyimage retrieval
发现论文，激发创造
  • 从视觉生活记录到叙事：综述

    本文综述了近期自我中心数据分析的进展以及未来电子日志的可视化叙事方面的新研究方向。

    Jul, 2015

  • 超越字幕到叙事：视频多句子字幕

    本研究提出了一种视频片段分割、多帧生成多个盛传、并采用自然语言技术将其连接成故事式视频字幕的方法，实现丰富内容的视频字幕生成，结果表明该方法不需要显式输入视频级别特征即可提供丰富内容，与最新技术方法相同。

    May, 2016

  • 实时视频字幕

    该研究介绍了一种新的在线方法，用于在视频流中生成密集的视频描述并解决在线场景中的挑战，该方法结合了可变形变换和时间滤波。通过在 ActivityNet Captions 数据集上进行实验评估，验证了该方法在实时响应和性能方面相对于现有离线方法的优越性，并提供了模型结果和融入了新型评估指标的评估工具包以鼓励进一步的 LVC 研究。

    Jun, 2024

  • 视频分类与字幕的深度学习

    本文主要关注于评估使用深度学习来理解视频中的内容的两个方向，即视频分类和视频字幕生成，并对常用基准和竞赛进行了回顾。

    Sep, 2016

  • 基于批处理的自拍照片流活动识别重访

    利用可穿戴相机的图像数据，结合卷积神经网络和递归神经网络的优点，提出了一种基于批量处理的系统来识别 21 种日常活动，准确率达 89.85％，优于现有的端到端方法。

    Oct, 2017

  • C4Synth：跨说明文循环一致的文本到图像合成

    该论文提出了一种基于深度生成模型的多个描述生成图片的方法，并通过对 CUB 和 Oxford-102 Flowers 数据集的实验结果证实了该方法的有效性。

    Sep, 2018

  • 基于自我中心照片流的社交风格特征刻画

    该论文提出了一种使用可穿戴照相机实现自动社交模式刻画的系统，其中通过检测与相机佩戴者互动的人，并将检测到的社交互动分类为正式和非正式两个步骤，在事件级别上对每个潜在的社交事件进行建模，并使用 LSTM 网络进行时间序列分类。最终通过聚类同一个人在整个社交互动集中的出现来全面理解用户的社交关系的多样性和频率。实验表明，该系统应用于自我中心的照片流上的社交模式刻画任务取得了有望的结果。

    Sep, 2017

  • 基于视觉语音的大规模表征学习

    这篇论文描述了一种可扩展的方法来自动生成不同的音频来为图像提供字幕，并且通过使用双编码器来对音频和图像进行编码，使用掩码边界软最大损失对这些模型进行微调，并在 Flickr8k 音频字幕语料库上实现了最新的结果。

    Sep, 2019

  • 视频字幕及其应用的综合方法

    本研究通过关键帧识别和允许用户平衡速度和准确率的设计，使用深度学习算法对长视频进行编码，提高速度并减少计算量，以实现视频字幕深度学习应用。

    Jan, 2022

  • 简化密集视频字幕生成

    本文提出了一种新颖的密集视频字幕框架，它通过显式建模视频中事件的时间依赖性并利用先前事件的视觉和语言上下文来实现连贯的叙述。该框架由事件序列生成网络和序列视频字幕网络组成，后者利用强化学习进行训练，并在事件和剧集两个级别上进行两级奖励以实现更好的上下文建模。在大多数指标上，该方法在 ActivityNet Captions 数据集上取得了出色的表现。

    Apr, 2019