resnet | BriefGPT - AI 论文速递

关键词resnet

搜索结果 - 91

ResNet 还是 DenseNet？向 ResNet 引入稠密 shortcut
本文研究 ResNet 和 DenseNet 并提出了一种统一的密集求和方法分析它们之间的差异，并通过提出的 DSNet 算法在多个基准数据集上取得了比 ResNet 更好、与 DenseNet 相当的性能，但需要更少的计算资源。
PDF4 years ago
从无到有的生成一致性：测量梯度走向演变
本文提出一种新的指标 m-coherence，用来实验性地研究训练过程中样本间梯度的对齐情况。通过使用 m-coherence，我们研究了在 ImageNet 数据集上使用 ResNet 和 Inception 模型以及带有标签噪声的几个变
PDF4 years ago
ICLRPruneNet: 全局重要性通道剪枝
本文提出了一种简单而有效的基于数据驱动优化的频道修剪方法，该方法通过每层发现必要的宽度，以非均匀修剪 ResNet-50 等深度神经网络，实现了与现有方法相同的 FLOP 降低率，同时提高了 0.98％的准确度，并优于其他深度神经网络如 R
PDF4 years ago
ECG 分析的深度学习: PTB-XL 的基准和见解
本文介绍了使用 PTB-XL 数据集进行心电图数据自动识别的结果，证明卷积神经网络（resnet 和 inception）优于基于特征的算法，并讨论了自动解释算法的隐藏层分类和模型不确定性等方面。本研究为心电图分析算法的结构化基准测试提供了
PDF4 years ago
ESResNet：基于视觉领域模型的环境声音分类
本文提出了一种基于 STFT 频谱图与图像领域多个网络模型相结合的模型并针对标准数据集进行了评估，在 Environmental Sound Classification 领域中取得了目前最高的分类精度。同时对该领域已有的研究方法进行了全面
PDF4 years ago
大规模数据集是否可以进一步增强时空三维卷积神经网络？
在视频识别中，使用大规模视频数据集和 3D CNN 来改善空时 3D CNN 的性能。通过构建数据集和扩充视频数据集的方法，将网络深度增加到 200 层，并使用 ResNet，使 Kinetics-700 和混合数据集预训练模型的识别性能提
PDF4 years ago
深度残差网络及其扩展的平均场分析：通过深度超参数化实现可证优化
本文通过对深度残差网络进行连续极限的解释，提出了一种新的深度残差网络连续极限，推导出了多层神经网络在平均场规则下的首个全局收敛结果，并提出了几种基于新连续模型的训练方案，其中之一的训练程序在基准数据集上表现出很强的实证性能。
PDF4 years ago
UR2KiD: 无需局部一致性监督的统一检索、关键点检测和关键点描述
本文提出了一种基于 ResNet 模型的统一框架，用于关键点检测、特征提取和图像检索，不需要使用点对点的训练数据，利用通用技术在标准 ResNet 模型的连续层中提取局部信息，通过局部响应值的池化提取全局信息，可以在各种具有挑战性的评估条件
PDF4 years ago
组合技术提升卷积神经网络性能
本研究通过将现有的几种技术组合应用到基本的卷积神经网络模型（如 ResNet 和 MobileNet）中，验证了这种仔细汇编技术的方法可以提高模型的准确性和鲁棒性，从而最小化吞吐量的损失。该方法在图像分类、细粒度分类和图像检索任务的公共数据
PDF4 years ago
用于高效语义分割的瀑布空洞空间池化架构
我们提出了一种新的有效的语义分割架构 - 瀑布空洞空间池化架构，它在减少网络参数和内存占用的同时实现了显着的准确性提高。该架构利用级联架构中渐进过滤的效率，同时保持与空间金字塔配置相当的多尺度视场。此外，我们的方法不依赖于具有条件随机场的
PDF5 years ago
ICML端到端自动语音识别：从受监督学习到半监督学习与现代架构
本文研究了 ResNet、时深分离卷积神经网络和变压器等半监督训练方法，在标准数据集 LibriSpeech 上，通过伪标签来利用来自 LibriVox 的额外未标记数据。研究结果表明，半监督训练可以改善所有架构和损失函数的模型，并在它们之
PDF5 years ago
ICCV4 连通移位残差网络
本文研究了如何应用转移运算以替代空间卷积操作，通过将 8-connected 和 4-connected 邻域组的转移操作应用于 ResNet 的 point-wise 卷积中，实现了与全残差网络相同的准确性，同时将参数和计算要求降低了 4
PDF5 years ago
深层 ResNets 是否能被证明比线性预测器更好？
本研究利用几何条件证明了多跳连接可以改善优化过程中的局部极小值问题，并证明了在 ResNet 的优化空间中的任何关键点要么优于最佳线性预测器，要么其 Hessian 矩阵有严格负的特征值。同时，我们还证明了深度残差网络的 “接近恒等区域”
PDF5 years ago
神经常微分方程作为具有恒定权重的 ResNets 的深度极限
本研究证明，当深度趋近于无限时，共享同一权重矩阵的 ResNet 类型深度神经网络上的随机梯度下降收敛于神经 ODE 的随机梯度下降，并且相应的值 / 损失函数收敛。我们的结果为考虑神经 ODE 作为 ResNet 的深度极限提供了理论基础
PDF5 years ago
使用 KiDS-450 弱引力透镜地图的深度学习进行宇宙学限制
本文使用卷积神经网络 (Convolutional Neural Networks, CNN) 分析了 KiDS-450 力学弱引力透镜数据集中的弱引力透镜质量映射，得出了对宇宙的总物质密度，波动幅度以及内在对齐振幅的限制性结果，并与基于功
PDF5 years ago
如何初始化网络？WeightNorm 和 ResNets 的鲁棒初始化
本文研究权重规范化神经网络的参数初始化策略，通过使用平均场近似方法，提出了一种新的参数初始化策略。通过超过 2500 次实验，本文展示了所提出的初始化方法在图像数据集上具有更好的泛化性能、超参数值鲁棒性和种子之间的变异性。而且，该初始化方法
PDF5 years ago
ResNet 能高效地学习什么，超越核心卷积？
该研究表明，多层神经网络通过不同层进行分层学习，缩小了与 “单次学习” 算法（如核方法）相比的样本复杂度，而这种思想与 “反向特征校正” 过程一起，又加深了深度网络的理论基础，同时也证明了 ResNet 相对于其他学习方法具有计算复杂度上的
PDF5 years ago
LEDNet：一种用于实时语义分割的轻量级编码器 - 解码器网络
本文介绍一种名为 LEDNet 的轻量级网络，采用了不对称的编码器 - 解码器架构和 ResNet 作为骨干网络，以及每个残差块中的两种新操作：通道分割和随机洗牌。在解码器中采用注意金字塔网络 (APN) 来进一步减轻整个网络的复杂性。实验
PDF5 years ago
使用 RefineContourNet 进行物体轮廓和边缘检测
使用基于 ResNet 的多路径细化 CNN 用于对象轮廓检测，利用高、中、低级别特征融合的方法进行网络训练，实现了边缘检测任务的最佳性能，最终在经过改进的 PASCAL-val 数据集上获得了 ODS 值 0.752，同时，在 BSDS5
PDF5 years ago
ICLR深度学习大批量优化：76 分钟训练 BERT
本文提出了一个新的基于分层自适应学习率的大批量优化技术 ——LAMB，主要用于加速深度神经网络训练。在各种任务（如 BERT 和 ResNet-50）中，LAMB 的表现优于现有算法，特别是在 BERT 训练中，我们的优化器能够实现 328
PDF5 years ago