T-Net：使用单个高阶张量将完全卷积网络参数化

CVPRApr, 2019

T-Net：使用单个高阶张量将完全卷积网络参数化

T-Net: Parametrizing Fully Convolutional Nets with a Single High-Order Tensor

Jean Kossaifi, Adrian Bulat, Georgios Tzimiropoulos, Maja Pantic

TL;DR本文提出一种全新的方法，旨在将卷积神经网络（CNN）完全参数化为高阶低秩张量，并将整个网络进行规范化，从而显著减少参数数量，而且在人体姿势估计这一具有挑战性的任务中，即使使用较小的压缩比，也能够实现卓越的性能。

Abstract

Recent findings indicate that over-parametrization, while crucial for successfully training deep neural networks, also introduces large amounts of redundancy. tensor methods have the potential to efficiently para

over-parametrization tensor methods convolutional neural networks high-order tensor compression rates

发现论文，激发创造

基于分解的高阶 CNNs 及其在时空情绪估计中的应用

本文提出了一种基于张量分解的高效多维（可分离）卷积框架，为训练深度卷积神经网络提供了新的思路。该方法可以应用于脸部情感分析，将静态图像的分类结果应用于动态视频图像，取得了优秀的分类性能。

Jun, 2019

卷积模型的张量网络可压缩性

卷积神经网络（CNN）是最广泛使用的神经网络架构之一，在计算机视觉任务中展示出最先进的性能。通过 “张量化” 可以有效地减小较大的 CNN 的体积而保持准确性，本文通过评估截断密集（未进行张量化）CNN 的卷积核对其准确性的影响来探索这一问题，并发现这种 “相关压缩” 是如何在密集 CNN 中编码信息的固有特性。

Mar, 2024

张量收缩层用于简化深度神经网络

本研究探讨了将张量压缩作为神经网络层的应用，并提出了张量压缩层的概念。通过在图像识别任务中使用张量压缩技术，本文提出的网络模型在减少模型参数数量的同时保证了准确性，并在某些情况下实现了更好的性能。

Jun, 2017

张量回归网络

本研究通过引入张量代数操作来替代全连接层，提出了张量收缩层和张量回归层，以减少参数数量并保留激活的多线性结构，同时通过在张量收缩层和张量回归层中加入低秩约束，改进了神经网络的性能，并在 MRI 图像分析任务上取得了显著的性能提升。

Jul, 2017

通过张量网络将神经网络压缩为指数少的变分参数

本文提出了一种基于张量网络的压缩算法，能够显著地降低神经网络的参数量，从而提高其压缩效果和泛化性能。实验证明，该算法可将包含上千万参数的 VGG-16 模型的卷积层压缩为仅包含 632 个参数的张量网络，同时提升在 CIFAR-10 数据集上的测试准确率。该算法可被看作是一种高效的神经网络参数压缩方案，能够充分挖掘神经网络的可压缩性。

May, 2023

张量网络视角下的卷积

本研究通过张量网络对卷积进行了全新的视角探讨，通过图表述来研究其基础性质，证明了该方法的表达能力，并通过实验证明了其对于多种卷积操作的适用性和有效性。

Jul, 2023

训练期间自适应排名谱剪枝卷积层

本文提出一种基于张量 Tucker 分解的低参数训练方法，通过自适应剪枝卷积核的 Tucker 秩来降低训练成本，并在保证损失下降的情况下，达到与完整基线模型相当甚至更好的性能。

May, 2023

张量神经网络：神经网络的泛化和模型压缩应用

该研究提出了张量神经网络，利用高阶张量操作解决参数学习的难题，并实现了对高阶输入对象的自然处理，同时利用训练方法和压缩技术在精度和效率上均有提升。

May, 2018

终极张量化：压缩卷积层和全连接层

本文提出了一种基于张量分解的卷积层参数压缩方法，并将其与之前提出的压缩全连接层的方法结合，成功实现了在 CIFAR-10 数据集上 80 倍的网络压缩和 1.1% 的精度损失。

Nov, 2016

块状张量神经网络

本文提出了一种名为 BT-layers 的新的神经网络结构，使用低秩分块张量来近似权重矩阵，能够大幅缩小 DNN 的参数数量，同时保持或提高其表征能力。

Oct, 2020