Mar, 2024

BlendScape: 通过生成式人工智能实现统一和个性化视频会议环境

PDF
TL;DR通过 AI 图像生成技术，BlendScape 系统支持用户自定义视频会议环境以满足他们的协作需求，通过融合用户的背景和多模态交互技术，用户能够快速表达设计意图并在未来会议中构建协作结构，但同时也遇到了防止分散注意力的挑战。
发现论文，激发创造
  • 混合现实远程会议的互相场景合成

    本文提出了一种新方法，通过深度学习条件场景增强过程和相互功能优化模块相结合，生成适用于所有混合现实远程实时视频会议场景的场景合成方法，以促进下一代空间计算平台上的情境化遥控系统的发展。

    Apr, 2022

  • CrossTalk: 提升视频会议中的沟通与协作能力 —— 从对话语音中识别意图

    通过结合智能技术和通信与协作，本研究提出了数字通信媒体的三个关键设计概念，包括面板基底、基于语言的意图识别和轻量级交互技术，并开发了名为 CrossTalk 的视频会议系统来实现这些概念，从而实现了更流畅灵活的通信和协作体验。

    Aug, 2023

  • 让遥控操作普及到每个桌子

    本文提出了一种基于 4 个消费级 RGBD 相机的多捕捉点的渲染系统，该系统可以将用户及其环境合成高质量的自由视点视频，实验证明该系统能够以快速、鲁棒的方式处理各种复杂的手势和着装，并能够应用于新用户，在不需要每个视频的优化的前提下，使远程出席成为可能。

    Apr, 2023

  • 构想一款高效逼真的人体渲染技术的下一代扩展现实会议系统

    该研究探索了一种基于 Neural Radiance Field 和自由视点合成的算法用于更高效地呈现真实感更强的人类动态，以进一步在元宇宙会议系统中实现更沉浸式的会议体验。

    Jun, 2023

  • VirtualCube：一种沉浸式的 3D 视频通讯系统

    VirtualCube 是一个 3D 视频会议系统，使用 VirtualCube 作为虚拟会议环境的基本构建块，并使用 V-Cube View 算法进行实时渲染，能正确保护参与者之间的互相眼神接触，支持远程参与者的侧面交流，并照顾到参与者对工作项（如文档和应用程序）的视觉注意，使用常规硬件进行数据捕获的方案显著简化了任务。

    Dec, 2021

  • 智能导演：使用 ChatGPT 进行动态视觉构图的自动框架

    利用智能导演框架提出动态视觉合成（DVC）任务，通过综合用户需求和自动生成描述以及推荐音乐的方法，结合图像处理和风格转换技术，解决用户普遍缺乏专业技能的问题，实现自动集成多媒体元素并创作叙事性视频。

    Feb, 2024

  • 视频会议用单镜头自由视角神经对话人头合成

    提出了一种新颖的神经网络生成模型，采用关键点作为运动信息的表征形式，从而实现了面部图像的生成，降低了视频会议的带宽要求。

    Nov, 2020

  • 可玩环境：时空视频处理

    该研究提出了一种新的交互视频生成和操作方法 ——Playable Environments，该方法包括无监督学习、神经辐射场和体积渲染等技术，可以通过提供操作序列，控制相机视角和增强视频外观等手段，生成可玩的三维视频。

    Mar, 2022

  • 通过协作 LLM-Agent 实现自动驾驶中的可编辑场景模拟

    ChatSim 是第一个通过自然语言指令和外部数字资产实现可编辑的照片级 3D 驾驶场景模拟的系统，它利用大型语言模型 (LLM) 代理协作框架实现了高命令灵活性的编辑，并采用了新颖的多摄像机神经辐射场方法以实现逼真的结果，还借助了新颖的多摄像机光照估计方法以实现场景一致的资产渲染，实验证明 ChatSim 能处理复杂的语言指令并生成相应的逼真场景视频。

    Feb, 2024

  • 低比特率下基于 AI 的视频会议人脸增强技术

    提出一种名为 FAIVConf 的视频压缩框架，基于有效的神经人脸生成技术实现，通过获取和保持面部特征进行背景动画避免伪影、面部失焦降低传输比特率、动态源更新进行面部视图插值等多种设计，取得了较大的码率降低和更好的视觉质量。

    Jul, 2022