Deep3D: 使用深度卷积神经网络的全自动 2D 到 3D 视频转换

Apr, 2016

Deep3D: 使用深度卷积神经网络的全自动 2D 到 3D 视频转换

Deep3D: Fully Automatic 2D-to-3D Video Conversion with Deep Convolutional Neural Networks

Junyuan Xie, Ross Girshick, Ali Farhadi

TL;DR本文提出使用深度神经网络来将 2D 视频和图像自动转换为立体 3D 格式，并通过基于立体对从 3D 电影中提取获得的数据进行端到端的训练，使得性能得到了明显提高，此方法名为 Deep3D。

Abstract

As 3D movie viewing becomes mainstream and virtual reality (VR) market emerges, the demand for 3d contents is growing rapidly. Producing 3D videos, however, remains challenging. In this paper we propose to use de

3d contents virtual reality deep neural networks 2d-to-3d conversion deep3d

发现论文，激发创造

2D 转 3D 的一键升级：夹层 RGB-D 视频压缩用于立体电视会议

通过神经网络的先处理和后处理以及几何感知损失函数的联合训练，将 2D 视频编解码器升级为支持立体 RGB-D 视频压缩的方法能在不需要特定硬件升级的情况下，以较小的比特率实现较高渲染质量，适用于各种视频编解码器。

Apr, 2024

利用深度学习进行多媒体数据分类的智能 3D 网络协议

本文中介绍了一种基于 3D 卷积神经网络和 Spatiotemporal fusion 的混合深度学习架构，用于视频分类和动作识别，在研究方面取得了良好的性能，可以识别出 UCF101 数据集中的动作（准确率达到 95%）

Jul, 2022

深度假像检测：利用 2D 和 3D CNN 集成的能力

该研究使用 2D 和 3D 卷积神经网络的创新方法验证视频内容，结合滑动过滤器捕捉空时特征，利用 Voting Ensembles 和 Adaptive Weighted Ensembling 优化 3D 模型输出，在对抗深度伪造生成的欺骗性实践方面展现出潜力。

Oct, 2023

为视频物体分割提出三维卷积的论点

本文提出了一种基于 3D 全卷积神经网络的编码 - 解码网络结构，将其应用于视频中的显著对象分割。尝试使用全 3D 卷积来处理外观和运动信息从而实现密集视频预测，并通过 3D 全局卷积层和 3D 细化模块进行编码和解码操作。作者将其应用于 DAVIS'16 无监督，FBMS 和 ViSal 数据集基准测试中，结果表明其效果优于现有状态艺术，同时速度更快，能够高效地学习空间 - 时间特征并产生高质量的视频分割掩码。

Aug, 2020

卷积网络的单张图像多视角 3D 模型

本文提出了一种卷积网络，可以仅仅基于单张图像预测出物体的 RGB 图和深度图，并将多幅深度图融合成完整点云后可转换成表面网格来对任意视野下的三维物体进行识别。网络通过合成的三维车和椅子模型进行训练，在有杂乱背景并搭配真实车辆图像的情况下，仍可生成合理的推测。

Nov, 2015

2D 还是 3D? 自适应 3D 卷积选择用于高效视频识别

通过 Ada3D 条件计算框架，使用策略梯度方法和轻量级选择网络，实现对不同视频的实例特定 3D 使用策略的学习，以决定使用哪些帧和卷积层，从而实现对 3D 模型进行预测，即使在不同数据集上，也能够实现类似于现有 3D 模型的准确度，且需要的计算量减少了 20％-50％。

Dec, 2020

MobileStereoNet：面向立体匹配的轻量级深度神经网络

该研究提出了两种轻量级的立体视觉模型，采用 2D 和 3D 卷积进行编解码。研究表明，这两种模型有效地减少了计算开销，同时保持了准确性。

Aug, 2021

DeepC-MVS: 多视图立体重建的深度置信度预测

本文提出了一个流程，利用深度神经网络提高三维重建的质量，同时能够处理大型和高分辨率的图像数据集，具体包括针对多视角立体视觉（Multi-View Stereo）设计的置信度预测网络，用于深度地图 outlier 过滤和深度地图细化，从而提高最终三维重建的质量。通过在流行的基准数据集上进行广泛的实验，我们展示了这个流程的优越性，产生了最先进的三维重建质量和效果。

Dec, 2019

MVS2D: 基于注意力驱动的 2D 卷积的高效多视图立体重建

该论文描述了一种高度有效的多视图立体算法，该算法通过注意机制将多视图约束集成到单视图网络中，仅构建于 2D 卷积，速度至少比所有其他同类算法快 2 倍，并在各种挑战性基准上实现了精确的深度估计和 3D 重建效果，同时在有不精确相机姿态时具有最优表现。

Apr, 2021

DeepMVS: 学习多视角立体视觉

DeepMVS 是一种用于多视图立体重建的深度卷积神经网络 (ConvNet)，它可以对任意数量的姿态图像进行处理以预测高质量的视差图，其有效的信息聚合方法和采用 VGG-19 网络的多层特征激活实现了优异的效果。

Apr, 2018