Nov, 2021

PyTorchVideo: 视频理解的深度学习库

PDF
TL;DR介绍了 PyTorchVideo 开源深度学习库，提供丰富的模块化、高效和可重现的组件，用于各种视频理解任务，并支持硬件加速，可在移动设备上进行实时推理。
pytorchvideodeep-learningvideo understandinghardware accelerationopen-source
发现论文，激发创造
  • 视频分类与字幕的深度学习

    本文主要关注于评估使用深度学习来理解视频中的内容的两个方向，即视频分类和视频字幕生成，并对常用基准和竞赛进行了回顾。

    Sep, 2016

  • 深度学习视频预测技术综述

    本文回顾了用于视频序列预测的深度学习方法，定义了视频预测的基础知识、强调其对表示学习的潜在能力和现有的方法，并提供了数据集和实验结果，以评估其在定量基础上的最新技术进展。最后，总结了这一领域的一般结论、未来的研究方向和挑战。

    Apr, 2020

  • 视频聊天：以聊天为中心的视频理解

    本研究介绍了一种以视频为中心的语音理解系统 VideoChat，它通过可学习的神经接口将视频基础模型和大型语言模型集成起来，在时空推理、事件定位和因果关系推断等方面表现出色。通过使用视频为中心的指令数据集，我们为这个系统提供了有指导性的调整建议，这个数据集由成千上万个视频和详细的描述和会话组成，突出了时空推理和因果关系，为训练以聊天为中心的视频理解系统提供了有价值的资源。初步的定性实验揭示了我们的系统在广泛的视频应用中的潜力，并为未来的研究设置了标准。

    May, 2023

  • 深度快速视觉：一种用于加速深度迁移学习视觉原型设计的 Python 库

    利用 Python 库 Deep Fast Vision 简化深度学习过程，连接现有深度学习框架与广大用户需求，通过简单的嵌套字典定义为非专家提供了易于使用且可量化的体验，解决了小数据集困境和缺乏定制化自动机器学习解决方案的问题。

    Nov, 2023

  • AutoVideo: 一个自动化视频动作识别系统

    本研究开发了一种名为 AutoVideo 的 Python 系统，它可以提供自动化的视频动作识别，并采用高度模块化和可扩展的基础设施，数据驱动的调节器来支持研究，以及易于使用的图形用户界面。

    Aug, 2021

  • ChatVideo: 基于 Tracklet 的多模式通用视频理解系统

    本文提出了一种基于轨迹为中心的多模态视频理解原型系统，使用各种视频基础模型（ViFMs）注释其特性，存储在数据库中，并通过数据库管理器与用户交互，以解决各种视频相关问题。

    Apr, 2023

  • 高效视频标注的深度学习方法

    我们提出了三个模型家族的集成模型来解决 “Google Cloud 和 YouTube-8M 视频理解挑战”，训练使用增强数据集并配合交叉验证，最终排名第 5。

    Jun, 2017

  • 可学习的池化方法用于视频分类

    本研究旨在通过引入基于注意力机制和函数逼近的方法来改进局部视频描述符集成的现有方法，并提出了创建新体系结构的见解。在使用帧级视频和音频描述符的 'The 2nd YouTube-8M Video Understanding Challenge' 中展示了我们的解决方案。通过满足预算约束条件，我们获得了类似于现有技术的测试准确性，并探讨了改进现有技术的策略。模型实现可在此 https URL 中获得。

    Oct, 2018

  • 关于视频分割的深度学习技术调查

    该论文综述了在视频分割中使用的深度学习算法，其中包括了对象分割和语义分割，同时提供了这两种方法和数据集的详细概述，以及在几个知名数据集上的性能评估和未来研究的机会。

    Jul, 2021

  • 可扩展的视频编码，为人类和机器而设计

    本文提出了一种可扩展的视频编码框架，该框架通过基础层比特流支持机器视觉（特别是物体检测）和增强层比特流支持人类视觉，并且结果表明，该框架在物体检测方面比最先进的视频编解码器节省 13-19％的比特率，同时在人类视觉任务的 MS-SSIM 方面保持有竞争力。

    Aug, 2022