Feb, 2024

Sora: 大尺度视觉模型的背景、技术、限制和机遇综述

PDF
TL;DRThis paper provides a comprehensive review of the Sora text-to-video generative AI model, including its background, applications, challenges, and future directions.
soratext-to-video generative aibackgroundapplicationschallenges
发现论文，激发创造
  • 从索拉所见：文本到视频生成的调查

    通过对 Sora 进行文本到视频生成的拆解以及文献综述，我们从不同角度对其进行了全面回顾，总结了人工智能和人工一般智能的发展现状，介绍了常用的数据集和评估指标，并提出了该领域的挑战和未来研究方向。

    May, 2024

  • Sora 作为 AGI 世界模型？关于文本转视频生成的全面调查

    文本到视频生成技术的进展与 Sora 模型的发展路径和应用，以及技术挑战与未来改进方向进行全面探讨，旨在促进文本到视频生成领域的创新与讨论。

    Mar, 2024

  • 文本至视频生成 AI 模型的新兴治理挑战：Sora 的非凡与可怕

    通过定性社交媒体分析人们对 Sora OpenAI 模型的感知影响和关注进行研究，发现人们最关注 Sora 对内容创作相关产业的影响以及监管方面的挑战，包括 AI 生成内容的真实性与虚假性、人类自主权、数据隐私、版权问题和环境影响等。为了在 Sora 公开发布之前进行调节，我们提出了政策建议，包括 AI 内容标注的法律限制和公众 AI 素养教育。

    Apr, 2024

  • Mora: 通过多代理框架实现通用视频生成

    该论文介绍了一个名为 Sora 的大规模通用视频生成模型，随后提出了一个新的多智能体框架 Mora，通过多个视觉 AI 代理来复制 Sora 展示的通用视频生成能力，成功模拟了 Sora 在各种任务中的视频生成能力，并希望通过合作的 AI 代理引导未来的视频生成方向。

    Mar, 2024

  • WorldGPT: 一个受 Sora 启发的视频 AI 代理，将文本和图像输入作为丰富的世界模型

    通过使用基于 Sora 的多模态学习，利用文本提示和相关图像来构建熟练的世界模型框架，该方法在维护时间一致性和确保动作流畅性方面表现出强大的效果和创新性。

    Mar, 2024

  • Sora 是否是世界模拟器？关于一般世界模型及其拓展的综述

    通过综述世界模型的最新进展，该研究探讨了世界模型在视频生成、自动驾驶以及部署在自主代理人中的关键作用，并讨论了其挑战、限制和未来发展方向。

    May, 2024

  • Sora 检测器：针对大型文字视频模型的统一幻想检测

    为了解决文本到视频（T2V）生成模型中的幻觉问题，本研究引入了一种名为 SoraDetector 的新型统一框架，通过对幻觉现象的综合分析和关键帧提取技术，利用多模式大型语言模型构建静态和动态知识图，在单帧和多帧中检测幻觉，并通过自动化工具生成完整的视频质量报告。同时，还开发了一个用于评估 T2V 幻觉检测进展的元评估基准 T2VHaluBench，并通过在 Sora 和其他大型 T2V 模型生成的视频上进行广泛实验，证明了我们的方法在准确检测幻觉方面的有效性。

    May, 2024

  • Sora 以惊人的几何一致性生成视频

    通过将生成的视频转化为 3D 模型，以 3D 重建的准确性作为衡量标准，本文提出了一种用于评估生成视频质量的基于真实世界物理规则的新基准方法。

    Feb, 2024

  • 检测像 Sora 这样的 AI 生成视频中的关键内容

    通过实验分析外观、运动和几何等方面，在外观、运动和几何等方面对比了真实世界的视频和由先进 AI 模型生成的视频，揭示了真实世界视频与合成视频之间的差距，并提出了集成外观、光流和深度信息的专家集合模型以进行假视频检测，提高了鲁棒性和泛化能力。

    Jun, 2024

  • OccSora: 自主驾驶中的 4D 占用生成模型作为世界模拟器

    理解 3D 场景的演变对于有效的自动驾驶至关重要。我们提出了一种基于扩散的 4D 占据生成模型 OccSora，以模拟自动驾驶中三维世界的发展。通过在空时表示中学习扩散变换器，我们可以在轨迹提示的条件下生成 4D 占据，展示了对驾驶场景的空间和时间分布的理解能力。具有轨迹感知的 4D 生成，OccSora 具有作为自动驾驶决策的世界模拟器的潜力。

    May, 2024