- 叠加作为加速的梯度下降
通过逐渐增加层数并将新层的参数从旧层复制而初始化,堆叠是一种启发式技术,已被证明可以提高训练深度神经网络的效率。本文提出了堆叠的一个理论解释:即堆叠实现了一种 Nesterov 加速梯度下降的形式。该理论还涵盖了更简单的模型,如提升方法中构 - 神经常微分方程和深度残差网络的泛化界
本文研究基于连续时间参数的 ODE 类模型及其泛化界限,并探讨其与深度残差网络的类比关系,说明权重矩阵之间的差异对于神经网络的泛化能力有何影响。
- 深度残差网络的收敛分析
本研究旨在了解深度 ResNets 的收敛性,并给出一般深度神经网络的矩阵 - 向量描述和明确表达式,以研究两个涉及无限非方形矩阵积的级数的收敛性,进而建立 ResNets 逐点收敛的充分条件,并在基准机器学习数据上进行实验证实我们的结论。
- 视频去雨的增强时空交互学习:更快更好的框架
本文提出了一种新的端到端视频去雨水框架 ——Enhanced Spatio-Temporal Interaction Network(ESTINet), 使用深度残差网络和卷积长短时记忆,可以在计算资源开销极小的情况下捕捉连续帧之间的空间特 - 通过非线性多重网格实现深度残差神经网络的 GPU 并行层间训练
利用多重网格完全逼近存储算法来解决深度残差神经网络的训练,并在 GPU 上实现神经网络分层的并行化训练和并发计算核执行,这项工作显示出与传统的分层模型并行技术相比具有 10.2 倍的速度提升。
- 深度残差学习中的频谱集中:一种自由概率方法
使用自由概率的强大工具对深度残差网络(ResNets)的初始化进行重审,并建议按残差单元数量重新缩放经典随机初始化,以获得数量级更高的学习速度。
- DCN+: 针对问答的混合目标和深度残差共同注意力
本文提出一种混合目标函数来优化问答模型,该目标函数将交叉熵损失与自我批判策略学习相结合,并使用词重叠的奖励来解决评价指标与优化目标之间的不匹配。同时,本文还提出一种深度残差共注意力编码器来改善动态共注意力网络,该提案显著提高了模型的性能,在 - AAAI任意深度残差神经网络可逆架构
本研究将深度残差网络解释为普通微分方程,并由此开发出一种稳定和可逆的深度神经网络理论框架,以及提出了三种可任意加深的可逆神经网络架构,实现了对深度网络的记忆高效实现,并且通过实验证明了本文方法在 CIFAR-10,CIFAR-100 和 S - 可逆残差网络:无需存储激活即可反向传播
该研究介绍了一种新型的具有可逆性的深度残差网络,名为 RevNet,能够通过其后续层的激活来精确地重建每一层的激活,从而克服了传统深度残差网络在反向传播过程中所需要大量的存储空间,实现了与相同大小的深度残余网络相似的图像分类准确率。
- 利用大规模的皮肤镜图像和深度残差网络进行自动皮肤病变分析
这篇文章讨论了利用深度残差网络对皮肤镜图像进行分析和诊断的方法,通过自动分析可以更准确地进行皮肤黑素瘤的诊断,有助于提高早期诊断率和治疗效果。
- CVPRSurfNet:使用深度残差网络生成三维形状表面
利用几何图像的形式通过卷积神经网络,直接生成三维形状表面,实现形状表面的插值、发明以及从未看见的图像中恢复三维形状表面等功能。
- ShaResNet: 共享权重减少残差网络参数数量
本文通过共享同一空间尺度下的残差块中卷积层的权重,提出了一种名为 ShaResNet 的深度残差网络,使网络参数得到显著减少,同时在图像分类任务中保证了准确率。
- 残差网络的损失函数表面:集成和批归一化的作用
本文表明深残差网络(Deep Residual Networks)可以视作一系列相对较浅网络的集合,并通过广义自旋玻璃模型分析其优化过程中的临界点数量及 Batch Normalization 技术等因素对网络深度动态变化的影响。
- COLING深度残差网络语义标注
提出了一种新的语义标记任务 sem-tagging,旨在针对多语言语义分析,首次利用了深度残差网络 (ResNets) 进行标记,使用了词和字符表示以及包含新的残余绕道架构。通过内在评估和词性标注,我们的系统显著优于对英语通用依赖词性标注的 - 多重残差网络:提高残差网络的速度和准确性
本文提出了一种新的卷积神经网络架构,该架构通过扩展残差网络的层数,明确利用非常深网络的集成表现,并使模型变宽而不是更深,从而显著提高了准确性。受多元残差网络的并行结构启发,本研究还探讨了一种模型并行技术,该技术使残差块的计算分布在处理器之间 - 宽残差网络
通过对 ResNet 模块架构的详细实验研究,本文提出了一种新的网络架构 —— 宽残差网络 (WRNs),通过降低深度、增加宽度优化 ResNet 网络,证明其在准确度和效率上优于传统的浅而深层的残差网络模型,实现了在 CIFAR, SVH - 使用深度全卷积残差网络将单目图像深度估计视为分类问题
通过像素分类的方式实现单目图像深度估计,利用深度残差网络进行预测,同时采用全连接条件随机场 (CRF) 进一步提升效果。在室内和室外数据集上实现了最先进的性能表现。
- ECCV深度残差网络中的身份映射
通过对深度残差网络的构建块传播表达式的分析,本文提出了一种新的残差单元,使用 identity mappings 作为跳跃连接和添加激活后,可以让前向和反向信号直接从一个块传播到任何其他块,这样可以使训练更容易并提高泛化性能。最终,我们在