深度卷积表：没有卷积的深度学习

Apr, 2023

深度卷积表：没有卷积的深度学习

Deep Convolutional Tables: Deep Learning without Convolutions

Shay Dekel, Yosi Keller, Aharon Bar-Hillel

TL;DR本文提出了一种新颖的深度网络形式，该形式不使用点乘神经元，而是依靠一系列投票表来加速基于 CPU 的推理，被称为卷积表（CT），该表在每个图像位置执行蕨操作：将位置环境编码为二进制索引，并使用索引从表中检索所需的局部输出，多个表的结果组合以获得最终输出。

Abstract

We propose a novel formulation of deep networks that do not use dot-product neurons and rely on a hierarchy of voting tables instead, denoted as convolutional tables (CT), to enable accelerated cpu-based inference

convolutional tables cpu-based inference deep learning fern operation neural networks

发现论文，激发创造

TabConv: 通过表查找实现低计算量的 CNN 推理

通过引入 TabConv 技术，本研究提出了一种基于表格的近似卷积方法，显著减少了卷积推理中的算术运算量，同时通过基于余弦相似度的优先掩码技术选择层级进行表格近似，从而保持了模型性能，并在多个常用 CNN 模型上进行了评估，实现了低计算量的推理。

Apr, 2024

同调卷积神经网络

通过在稀疏的表格数据中利用拓扑约束网络表示结构，我们提出了一种新颖的深度学习架构，利用卷积提取空间信息，并通过网络拓扑的有限概念来确保数据导向、可解释性和可扩展性，在 18 个基准数据集上测试表明，我们的方法在这些具有挑战性的数据集上达到了最先进的性能。

Aug, 2023

深度卷积网络是层次化的核机器

该论文讨论了 i-theory 中典型层次结构的构成，提出现代 DCNs 可以与具有池化和非池化层次的核机器的层级架构完全等效，最终提出高效的结构猜想。

Aug, 2015

压缩卷积神经网络

本文介绍了一种名为 FreshNets 的新型神经网络体系结构，它利用学习模型的卷积层和全连接层中的固有冗余性以实现内存和存储消耗的显着节省，同时在压缩性能方面优于现有基线模型。

Jun, 2015

基于真值表的可扩展、可解释、可验证、可微分逻辑门卷积神经网络结构

本论文提出了一种名为 Truth-Table Net（TTNet）的卷积神经网络结构，该结构通过设计解决了可解释性、形式验证和逻辑门转换等难题，并在多个数据集上显示出与决策树可比的可解释性、快速完整合规验证和可扩展的逻辑门表示。

Aug, 2022

使用快速傅里叶变换和重叠相加的卷积神经网络极其高效训练

使用 “重叠相加” 技术和快速傅里叶变换来减少卷积神经网络中卷积层的计算时间，实现了更高效的向前和向后传播。

Jan, 2016

张量网络视角下的卷积

本研究通过张量网络对卷积进行了全新的视角探讨，通过图表述来研究其基础性质，证明了该方法的表达能力，并通过实验证明了其对于多种卷积操作的适用性和有效性。

Jul, 2023

动态卷积：卷积核的注意力机制

提出一种名为 Dynamic Convolution 的新设计，基于卷积核的注意力动态地聚合多个并行卷积核，从而增加模型复杂度，提高卷积神经网络的表示能力，有效提高 MobileNetV3-Small 模型在 ImageNet 分类任务上的精度。

Dec, 2019

深度学习中小卷积核的高效高阶卷积

通过提出一种新的方法来实现低内存和计算成本的高阶 Volterra 滤波，在 DCNN 训练的前向和反向传播过程中具有计算优势，并基于该方法提出了一种名为 Higher-order Local Attention Block（HLA）的新型注意力模块，并在 CIFAR-100 数据集上进行了测试，显示了在分类任务中的有竞争力的改进。

Apr, 2024

决策树作为卷积层的替代训练

本篇研究提出了一种替代卷积神经网络（CNNs）中卷积层的另一种方法，将卷积简化为二进制决策，用于条件分布的索引，每个权重都代表决策树中的叶子。我们还展示了如何使用二进制决策代替卷积，通过公开数据证明这种新层表现良好，并显著提高了运行时间。

May, 2019