Feb, 2024

Orchid：灵活和数据相关的序列建模卷积

PDF
TL;DROrchid 是一种新颖的架构，通过整合一种新的数据相关卷积机制，重新定义序列建模，以实现表达能力与计算效率之间的平衡。通过在核上采用专用条件神经网络，Orchid 核心部分是数据相关的卷积层，它根据输入数据动态调整其核。通过门控操作和动态的数据相关卷积核，Orchid 可以在保持效率和准线性可扩展性的同时捕捉长程依赖和上下文学习。我们在多个领域对 Orchid 进行了严格评估，包括语言建模和图像分类，以展示其性能和广泛应用性。我们的实验表明，相比于 BERT 和 Vision Transformers 等传统基于注意力机制的架构，Orchid 架构不仅在模型尺寸较小的情况下表现更好，还能将可行的序列长度超出密集注意力层的限制。这一成就代表了更高效、可扩展的序列建模深度学习模型的重要进步。
发现论文，激发创造
  • 全维动态卷积

    该论文提出一种更加通用而优雅的动态卷积设计，Omni-dimensional Dynamic Convolution (ODConv)，通过多维度的注意力机制与并行策略学习卷积核在四个维度上的补充注意力，以提高各种流行的 CNN 主干网络的准确性，且可通过将其插入到现有 CNN 架构中来使用，实验证明与多个动态卷积方法相比，ODConv 甚至只需一组卷积核就能显著提高准确率。

    Sep, 2022

  • 序列器：深度长短期记忆网络用于图像分类

    本研究提出一种名为 Sequencer 的新型卷积神经网络架构，使用 LSTM 来建模长距离依赖关系，不同于改进自然语言处理的自注意力的 ViT，通过多项实验表明其具有很高的性能表现，同时在双重分辨率下具有良好的适应性。

    May, 2022

  • 动态卷积：卷积核的注意力机制

    提出一种名为 Dynamic Convolution 的新设计，基于卷积核的注意力动态地聚合多个并行卷积核，从而增加模型复杂度，提高卷积神经网络的表示能力，有效提高 MobileNetV3-Small 模型在 ImageNet 分类任务上的精度。

    Dec, 2019

  • 全局关注：用于序列到序列预测的二维卷积神经网络

    通过使用基于卷积神经网络而非 encoder-decoder 结构的方法，每一层在输出序列上重新编码源标记，我们的模型在参数更少的情况下表现出色，优于现有的机器翻译系统。

    Aug, 2018

  • 具有次二次复杂度的涟漪注意力视觉感知

    该论文提出了一种名为 “ripple attention” 的新的、用于视觉 transformer 的次二次注意力机制，可以在线性可观测的时间内量化各令牌对查询的贡献，以实现对于相对空间距离的加权；实验结果表明，此机制对于各种视觉任务非常有效。

    Oct, 2021

  • 基于内核视角的深度卷积模型近似和学习

    本研究通过核方法的角度对卷积核网络进行了研究，发现其 RKHS 由补丁之间的交互项的加性模型组成，其范数通过汇聚层促进这些项之间的空间相似性，并提供了泛化界，以说明池化和补丁如何提高样本复杂度保证。

    Feb, 2021

  • 动态区域感知卷积

    提出了一种名为 DRConv 的动态区域感知卷积，它可以自动将多个过滤器分配给具有相似表示的相应空间区域，以更有效处理复杂和不同的空间信息分布，从而代替任何现有网络中的标准卷积，尤其适用于高效网络中的动力卷积层。在 ImageNet 分类中，DRConv-based ShuffleNetV2-0.5x 在 46M 乘积添加水平下实现了 67.1% 的最新性能，相对改进了 6.3%。

    Mar, 2020

  • 从序列和图内核中导出神经网络结构

    通过基于序列和图等组合结构的核来获得适当的神经操作，引入了一类深度循环神经操作并形式化表征其关联的核空间；在语言建模和分子图回归等标准应用程序上进行了实证评估，取得了这些应用程序的最新成果。

    May, 2017

  • LVCSR 的非常深卷积神经网络的进展

    本文探讨了如何有效地扩展使用小型 3x3 卷积核的深度卷积神经网络作为混合 NN-HMM 语音识别系统的声学模型，提出了一种新的 CNN 设计，通过批量归一化来恢复去除时间池化带来的性能损失，确保模型快速、高效地解决长切分音频识别。

    Apr, 2016

  • KernelWarehouse: 动态卷积设计的重新思考

    KernelWarehouse 是一种更通用的动态卷积形式，通过在同一层及相邻层之间利用卷积参数的依赖关系重新定义了 “核心”、“组装核心” 和 “注意函数” 等基本概念，以提高动态卷积的参数效率，并在 ImageNet 和 MS-COCO 数据集上使用各种 ConvNet 架构测试了其有效性。KernelWarehouse 还可应用于 Vision Transformers，在提高模型准确性的同时减小主干模型的尺寸。

    Jun, 2024