Jan, 2024

conv_einsum：卷积张量神经网络中多线性操作的表示和快速计算框架

PDF
TL;DR这篇论文提出了一种用于表示张量卷积层的统一框架，以及一种能够以最小化浮点操作数（FLOPs）的方式评估这些框架的方法，实验证明 conv_einsum 显著提高了卷积张量网络的计算和内存效率。
发现论文，激发创造
  • 张量网络视角下的卷积

    本研究通过张量网络对卷积进行了全新的视角探讨，通过图表述来研究其基础性质，证明了该方法的表达能力，并通过实验证明了其对于多种卷积操作的适用性和有效性。

    Jul, 2023

  • 张量回归网络

    本研究通过引入张量代数操作来替代全连接层，提出了张量收缩层和张量回归层，以减少参数数量并保留激活的多线性结构，同时通过在张量收缩层和张量回归层中加入低秩约束，改进了神经网络的性能，并在 MRI 图像分析任务上取得了显著的性能提升。

    Jul, 2017

  • 终极张量化：压缩卷积层和全连接层

    本文提出了一种基于张量分解的卷积层参数压缩方法，并将其与之前提出的压缩全连接层的方法结合，成功实现了在 CIFAR-10 数据集上 80 倍的网络压缩和 1.1% 的精度损失。

    Nov, 2016

  • Einsum Networks: 可计算概率电路的快速可扩展学习

    本文提出了基于 Einsum Networks 的概率电路模型实现，通过简化 Expectation-Maximization 算法的实现以及在数据集上的应用来提高其可扩展性，并且作为一种忠实的生成图像模型。

    Apr, 2020

  • 通过张量网络将神经网络压缩为指数少的变分参数

    本文提出了一种基于张量网络的压缩算法，能够显著地降低神经网络的参数量，从而提高其压缩效果和泛化性能。实验证明，该算法可将包含上千万参数的 VGG-16 模型的卷积层压缩为仅包含 632 个参数的张量网络，同时提升在 CIFAR-10 数据集上的测试准确率。该算法可被看作是一种高效的神经网络参数压缩方案，能够充分挖掘神经网络的可压缩性。

    May, 2023

  • 张量网络最优收缩序列的快速识别

    本文针对量子多体物理等领域中出现的大型张量网络 Ansaetze 计算中的问题提出了一种修改后的搜索算法，结合增强修剪功能，可以实现几个数量级的性能提升并保证找到单个张量网络的最优操作最小化收缩顺序。

    Apr, 2013

  • T-Net：使用单个高阶张量将完全卷积网络参数化

    本文提出一种全新的方法，旨在将卷积神经网络（CNN）完全参数化为高阶低秩张量，并将整个网络进行规范化，从而显著减少参数数量，而且在人体姿势估计这一具有挑战性的任务中，即使使用较小的压缩比，也能够实现卓越的性能。

    Apr, 2019

  • 利用卷积网络内的线性结构进行高效评估

    本文介绍了一种可以加速大型卷积神经网络测试时间评估的技术，通过利用卷积滤波器中的线性结构进行逼近计算，可以在保持模型准确率的同时，将 CPU 和 GPU 上的卷积层速度提高了 2 倍。

    Apr, 2014

  • 卷积模型的张量网络可压缩性

    卷积神经网络（CNN）是最广泛使用的神经网络架构之一，在计算机视觉任务中展示出最先进的性能。通过 “张量化” 可以有效地减小较大的 CNN 的体积而保持准确性，本文通过评估截断密集（未进行张量化）CNN 的卷积核对其准确性的影响来探索这一问题，并发现这种 “相关压缩” 是如何在密集 CNN 中编码信息的固有特性。

    Mar, 2024

  • 基于分层张量分解的卷积网络分析与设计

    本文通过等价于分层张量分解的方式，分析了各种卷积神经网络架构特征的表达效率和归纳偏置，并提供了新的网络设计工具。

    May, 2017