Feb, 2024

LAVE：LLM 引领的视频编辑代理与语言增强

PDF
TL;DR通过将大型语言模型（LLMs）与视频编辑流程相结合，我们提出了一种名为 LAVE 的新系统，使用 LLMs 提供代理辅助和语言增强的编辑功能，以减少初学者的编辑障碍，并通过用户研究证明了 LAVE 的有效性和对用户创造力和共创感的影响。
video editinglarge language modelsagent-assisted editingllm-powered agent assistancecontent editing
发现论文，激发创造
  • 基于大语言模型的视频理解研究综述

    通过综述表明，利用大型语言模型（LLMs）的能力，视频理解工具的发展具有巨大的潜力，并且在空间时间推理和通识知识方面表现出令人惊讶的优势，还展示了在各个领域中应用的强大可扩展性和多功能性。

    Dec, 2023

  • Video-LLaMA: 一种面向视频理解的指令优化的音视频语言模型

    Video-LLaMA 是一种多模态框架，通过将预训练的视觉和音频编码器与预训练的大型语言模型结合，实现对视频内容的理解，具有捕捉视觉场景中的时间变化和整合音频 - 视觉信号等优势，因此被视为具有潜力的音视频 AI 助手原型。

    Jun, 2023

  • 基于多模多层转换器的语言视频编辑

    本文介绍了一种基于语言的视频编辑任务（LBVE），并提出了一个多模态多级变换器（M^3L）来进行语言指导下的视频编辑，实现了视频感知和语言语义的动态学习，并取得了良好的实验结果和应用前景。

    Apr, 2021

  • LLM-AD: 基于大型语言模型的音频描述系统

    介绍了一个利用 GPT-4V（视觉）的自动化音频描述生成流程，通过使用现成组件实现，不需要额外训练，生成符合自然语言音频描述生产标准的音频描述，同时通过基于跟踪的字符识别模块在帧间保持上下文一致的角色信息，在 MAD 数据集上表现与基于学习的方法相当，CIDEr 得分为 20.5。

    May, 2024

  • 视频 LLaVA：前投影前学习统一视觉表示

    该研究论文提出了一种统一的大规模视觉语言模型（LVLM），通过在语言特征空间中统一视觉表示，学习多模态交互，从而在图像和视频基准任务上取得了卓越性能。

    Nov, 2023

  • 增强型大语言模型视频助理

    本文旨在开发一个新颖的多模态基础模型 ——Valley: Video Assistant with Large Language model Enhanced ability，实现对视频、图像和语言的感知，并通过 ChatGPT 设计的多任务指令追随视频数据，在人类和视频之间进行各种任务定向的对话，为多语言的视频助手提供高度有效的支持。

    Jun, 2023

  • 重构一切：用 LLM 智能代理进行开放世界视频重构

    通过使用大型语言模型 LLM，本研究提出了一种基于视觉基础模型和人类指导的 Reframe Any Video Agent (RAVA) 来自动化视频重构过程，实验证明了 RAVA 在视频显著对象检测和实际重构任务上的有效性，展示了其作为 AI-powered 视频编辑工具的潜力。

    Mar, 2024

  • 利用大型语言模型辅助视频内容分析：抑郁症短视频的探索性研究

    通过对 203 个关键帧进行分析，我们比较了 LLM 和两名人类编码员在视频注释方面的准确性，发现 LLM 在物体和活动注释方面的准确性较高，而在情感和流派注释方面的准确性较低。此外，我们还确定了 LLM 注释视频的潜力和局限性，探讨了未来研究和改进工作的机遇和挑战，并讨论了基于 LLM 辅助视频分析的道德关切。

    Jun, 2024

  • VideoLLM: 用大型语言模型对视频序列建模

    本文提出了一种名为 VideoLLM 的新框架，它利用了自然语言处理（NLP）预训练 LLMs 的序列推理能力来进行视频序列理解。通过精心设计的模态编码器和语义转换器，将不同来源的输入转换为统一的标记序列，然后将其馈入仅解码的 LLM 中。在实验中，作者评估了 VideoLLM 在多个任务上的表现，证明了 LLMs 的理解和推理能力可以有效地转移到视频理解任务中。

    May, 2023

  • 基于 LLM 的智能虚拟助理与流程自动化

    通过使用大型语言模型（LLMs），本研究提出了一种新颖的基于 LLM 的虚拟助手，能够根据高级用户请求自动执行手机应用程序中的多步操作，该系统采用了一种端到端的解决方案来解析指令，推理目标并执行操作，实验证明该系统可在支付宝上以自然语言指令完成复杂的移动操作任务，展示了大型语言模型在实现自动助手完成实际任务方面的潜力。

    Dec, 2023