- 光滑函数的深度网络逼近
本文研究了深度修正线性单元网络关于宽度和深度同时逼近平滑函数的最优逼近误差特性,并且证明了多元多项式可以被宽度为 O(N)和深度为 O(L)的深 ReLUNetwork 逼近,而且证明了具有 O(N lnN)宽度和 O(L lnL)深度的深 - 实时语义立体匹配
研究表明,语义立体匹配比独立任务能更好地了解机器人、自我导航、增强现实等领域的场景理解。本文提出了一种单一的紧凑型和轻量级架构,通过多阶段的自上而下的估算,使得在任何硬件上和任何应用中都可以获得非常快速的推理,并对特定的应用要求进行准确度和 - ICCV自监督学习的深度和运动在光度不一致下的训练
本文介绍了一种通过自监督学习获得单目序列深度和姿态的方法,该方法不需要基础数据的支持,增加了更强的几何量和时间图像序列内部一致性的约束条件,能够显著提高单目图像序列深度和相对姿态估计的性能。
- MM神经切向核的有限深度和宽度修正
我们证明了在具有有限深度和宽度的随机初始化的 ReLU 网络中,神经切向核(NTK)的平均值和方差的精确缩放。
- 基于 FPGA-CPU 混合系统芯片实现功耗较低的实时高精度密集深度
本文提出一种结合 SGM 和 ELAS 方法的 FPGA-CPU 芯片的立体图像算法,实现了高效和高精度的深度数据点云的计算,并在 KITTI 2015 数据集上以 50FPS 的速度和 5W 的功率消耗下,达到了仅 8.7%的误差率。
- AAAI无监督单目视觉深度与自我运动学习结构与语义
我们提出了一种既利用结构又利用语义的方法,用于单目无监督学习深度和自我运动,模拟单个物体的运动并联合学习它们的三维运动矢量以及深度和自我运动,尤其适用于挑战性的动态场景,本文是 Casser 等人的扩展版本。
- CVPR跨深度、表面法向和语义分割的模式亲和传播
本文提出了一种基于模式关联传播(PAP)的方法,联合预测深度、表面法向量和语义分割,通过跨任务传播和任务特定传播,使相似模式能够自适应地扩散,从而增强了每个任务的学习及正则化,并通过实验在三个相关数据集上取得了优秀的成果。
- ICML神经网络过度参数化对梯度混乱和随机梯度下降的影响
本文研究神经网络架构如何影响训练速度,引入 “梯度混乱” 概念来分析。实验结果表明,增加神经网络宽度可以降低梯度混乱从而提高模型训练效率,而增加深度则会使训练效率降低。
- 深度和宽度对深度学习局部最优解的影响
本文通过分析深度和宽度对局部极小值质量的影响,论证了在没有强烈的过参数化和简化假设的情况下,深度神经网络的局部极小值质量随着深度和宽度的增加而趋向于改善,并且在带有局部引导结构的深层非线性神经网络模型中,其局部最小值的值在理论上被证明不会比 - 深度与非线性性在 ResNets 中不会产生不良局部极小值
本文证明深度与非线性激活函数对于 ResNets 不存在坏局部最小值,且所有局部最小值的值都不会比相应的经典机器学习模型的全局最小值差,且保证可通过残差表示进一步改善,从而推进了深度学习的优化理论(但仅适用于 ResNets 而非其他网络结 - AAAI通过观看双目视频联合无监督学习光流和深度
本文研究利用深度神经网络观看视频,通过利用立体视频中的几何规则共同解决深度和光流两个任务。实验证明,我们的结果明显优于其他现有算法。
- 从稀疏事件数据无监督学习密集光流、深度和自运动
本研究针对动态视觉传感器(DVS)输出的稀疏事件数据,提出了一种轻量级、无监督学习的深度、光流和自我运动估计的机器学习架构,称为 ECN。本研究是第一个仅使用上述稀疏事件数据产生密集深度和光流的单目管道,网络工作在自监督模式下,仅有 150 - 通过视角合成实现分层结构化三维场景推断
该研究提出了一种从单个输入图像中推断出场景的分层结构 3D 表示的方法,使用视图合成作为代理任务来弥补直接监督缺失的不足,并展示了其在两种不同场景下的定性和定量验证结果。
- 线性卷积网络中梯度下降的隐性偏差
本研究通过使用梯度下降法在全宽线性卷积网络上的实验,证明它在深度为 L 时收敛于一个与频域中的 L2/L bridge penalty 相关的线性预测器。与此相反,对于线性全连接网络,无论深度如何,梯度下降法都收敛于硬边界的线性支持向量机解 - ICML神经网络应足够宽以学习不连续的决策区域
研究表明,深度学习中的 “宽度” 同样重要,特别是激活函数包含泄漏整流线性单元的金字塔结构前馈神经网络可以保证产生连通的决策区域,这对神经网络的构建和分类器的对抗性攻击有着重要的意义。
- CVPR使用三维几何约束从单 ocular 视频中无监督学习深度和自我运动
提出了一种新颖的无监督学习深度和自我运动的方法,它主要基于对场景的推断 3D 几何形状进行对齐,并与基于光度学营养和有效性掩模的 2D 损失相结合,最终得出在 KITTI 数据集上的优越结果。
- ReLU 门深度神经网络在布尔输入上的下界
该研究借助 ReLU 挖掘深度学习的奥秘,以布尔函数为背景,考察了 ReLU 网络深度对模型大小的影响,并提出一种随机限制的方法来验证 LTF-OF-RELU 电路的最优性以及 ReLU 深度网络的难以压缩性,并展示出一种 Sum-of-R - 使用深度 ReLU 神经网络对分段光滑函数进行最优逼近
研究了在 $L^2$ 意义下逼近分类器函数所需的 ReLU 神经网络的深度和权重数量,构造了一类具有固定层数的人工神经网络,使用 ReLU 激活函数逼近可允许不连续的分段 $C^β$ 函数,权重数量为 $O (ε^{-(2 (d-1))/β - NIPS神经网络的表达能力:基于宽度的视角
本文研究神经网络的宽度对其表达能力的影响,证明了 width-$(n+4)$ ReLU 神经网络是一种通用逼近器,同时存在一些无法用宽度为 $n$ 的神经网络进行逼近的函数,表现出相变现象,结果展示了深度对 ReLU 网络的表达能力比宽度更 - ICML现代神经网络的校准
深入实验和分析,提出了温度缩放法的简单有效性,可以解决现代神经网络中分类器的置信度校准问题。