神经网络模型简化的张量分解:一篇综述
本文通过使用多种张量分解方法对门控循环单元 RNN 进行再参数化,旨在减少参数数量并保持表达能力,研究表明,在序列建模方面,Tensor Train 表现最佳。
Feb, 2018
这篇论文提出了一种用于加速 CNNs 的基于张量分解的技术,并且发现使用降秩限制的 CNNs 除了速度更快之外,有时候性能也表现更好,在进行了对比测试后,尤其是对于 VGG-16 模型,在性能无损的同时,前向传播时间可以缩短一半,从而证明低秩张量分解在加速大型 CNNs 方面是非常有用的工具。
Nov, 2015
本研究是对卷积核张量分解退化性的第一项研究。我们提出了一种新方法,可以稳定卷积核的低秩近似,同时保证神经网络的高性能。在流行的 CNN 体系结构上评估我们的方法并显示它提供一致性的性能。
Aug, 2020
本文介绍了张量网络及其运算的简介并侧重于介绍用于数据 / 参数的超压缩高阶表示的张量网络模型及其应用, 包括支持张量机、求广义特征值、深度神经网络等优化问题的张量分解方法,如张量列车和分层 Tuck 分解,并通过图形方法以及基于核张量的低秩张量近似来解释张量网络是如何能够在大量数据上执行分布式计算的。
Aug, 2017
本研究主要介绍了张量网络、张量分解、多元分析,低秩逼近以及大数据分析等多个方面,并讨论了其在异常检测、特征提取、分类、聚类分析、数据融合和集成、模式识别、预测建模、回归、时间序列分析和多元分析等领域中的潜在应用。
Mar, 2014
卷积神经网络(CNN)是最广泛使用的神经网络架构之一,在计算机视觉任务中展示出最先进的性能。通过 “张量化” 可以有效地减小较大的 CNN 的体积而保持准确性,本文通过评估截断密集(未进行张量化)CNN 的卷积核对其准确性的影响来探索这一问题,并发现这种 “相关压缩” 是如何在密集 CNN 中编码信息的固有特性。
Mar, 2024
本文提出一种基于张量分解的模型压缩系统,采用交替方向乘子法进行优化求解。该系统适用于卷积神经网络和循环神经网络,可大幅降低计算量和参数量,并保持较高的准确性。
Jul, 2021
基于张量分解和张量幂法的卷积神经网络压缩方法及迭代微调优化策略实现了较高的压缩比和减少了内存和计算成本,相比现有工作在不丢失精度的情况下实现了显著的优化。
Jan, 2017
本文将全面介绍张量(Tensors)的概念和分解方法,并探讨它们在机器学习中的应用,特别是在无监督学习和多关系数据分析等领域的优越性,同时结合实例研究了张量估计混合模型的基本方法,并提供了相关软件类库的参考。
Nov, 2017