Jun, 2017

深度可分离卷积在神经机器翻译中的应用

PDF
TL;DR本研究探讨如何将深度可分离卷积应用于神经机器翻译任务。我们提出了一种新的基于 Xception 和 ByteNet 的架构 SliceNet，并发现深度可分离卷积能够在减少参数数量和计算量的同时获得与 ByteNet 相似的性能，同时展示了深度可分离卷积对于神经机器翻译任务的性能表现以及其带来的架构变化。
depthwise separable convolutionsneural machine translationslicenetparameter countcomputational cost
发现论文，激发创造
  • Xception：深度学习中的深度可分离卷积

    这篇论文介绍了卷积神经网络中 Inception 模块的解释和中间步骤，提出了一种新的深层卷积神经网络架构 Xception 来替换 Inception 模块，它在 ImageNet 数据集上的表现略优于 Inception V3，但在包括 350 万张图像和 17,000 个类别的更大的图像分类数据集上表现显著优于 Inception V3，并说明这种性能提升不是由于增加的参数容量，而是由于模型参数的更有效使用。

    Oct, 2016

  • 在超低功耗设备上加速深度可分卷积

    通过融合不同数据布局，我们探索了较传统卷积更高效的深度可分离卷积块，目标是在商业超低功耗设备上减少执行网络的延迟时间最多 11.40%，同时将 L2 和 L1 内存之间的激活数据移动减少最多 52.97%。

    Jun, 2024

  • 使用深度可分离卷积在 FPGA 上加速卷积神经网络

    本文中，提出了一种可扩展的高性能深度可分离卷积优化的卷积神经网络加速器，适用于不同大小的 FPGA，可以实现 GPU 级别的卷积操作，提高了计算速度。在 Arria 10 SoC FPGA 上实现了 MobileNetV2，并取得了比 CPU 快 20 倍的结果。

    Sep, 2018

  • 深度分解：在高效卷积神经网络中加速可分离卷积

    本文提出了一种基于 SVD 的分解方法，将常规卷积扩展为深度可分离卷积，从而在维持高准确性的同时，优于通道分解方法，提高了 ShuffleNet V2 模型的 Top-1 准确率约 2％。

    Oct, 2019

  • 网络解耦：从常规到深度可分离卷积

    该论文提出了一种称为网络解耦（ND）的训练方法，可以将已有的卷积神经网络模型转换到 MobileNet 等深度可分离卷积结构中，进而加速 CNN，减少严重的准确度下降。通过实验，作者证明了 ND 与其他训练 - free 方法正交，可以更大程度的加速 CNN。

    Aug, 2018

  • 时域深度可分卷积的序列对序列语音识别

    使用时间 - 深度可分离卷积块、卷积语言模型以及有效的 beam 搜索方法，相对于先前的序列到序列结果，在 LibriSpeech 测试集中语音识别效果提高了 22%。

    Apr, 2019

  • 深度可分离卷积满足学习多个视觉领域的需求

    本文提出一种基于深度可分离卷积的多领域学习体系结构，以捕获不同视觉领域之间的通用结构，并介绍一个门控机制，促进不同领域之间的软共享。在 Visual Decathlon 挑战赛上，我们的方法可以取得最高分数，比现有方法所需的参数数量少 50％。

    Feb, 2019

  • 无参数层学习特征

    该论文探讨采用内置无参操作替换空间操作的网络架构的有效性，实验结果表明，这种架构可以在不牺牲模型精度的情况下进一步提高网络速度和效率，尤其适用于 ImageNet 数据集。

    Feb, 2022

  • 采用空洞可分离卷积的编码器 - 解码器用于语义图像分割

    本文介绍了一种深度学习模型 DeepLabv3+，将网络的编码器和解码器模块相结合，采用空洞空间金字塔池化和深度可分离卷积技术，用于语义分割任务，实验表明该模型取得 89.0% 和 82.1% 的测试集性能，且附有 TensorFlow 参考实现。

    Feb, 2018

  • 神经机器翻译卷积编码器模型

    本文提出了一种基于卷积层的神经机器翻译框架，相比双向 LSTM 网络，该框架可以同时编码整个源语句，从而加速了翻译速度，在 WMT'16 数据集上达到了竞争水平的准确性，并在 WMT'15 和 WMT'14 数据集上取得了优异的结果。

    Nov, 2016