本文介绍了张量网络及其运算的简介并侧重于介绍用于数据/参数的超压缩高阶表示的张量网络模型及其应用, 包括支持张量机、求广义特征值、深度神经网络等优化问题的张量分解方法,如张量列车和分层 Tuck 分解,并通过图形方法以及基于核张量的低秩张量近似来解释张量网络是如何能够在大量数据上执行分布式计算的。
Aug, 2017
本文介绍了PyTorch中torch.nn.utils.prune模块的新扩展,提供了共享的、开源的剪枝功能,以便在模型训练前、中、后减小模型的大小和容量,帮助减少资源有限设备上部署快速、可持续、私密的模型的技术难度。
Apr, 2020
该论文研究了张量网络结构搜索中的一种实际变体,称为TN排列搜索(TN-PS),通过提出一种元启发式算法,证明了其计数和度量特性,并降低了计算成本和模型大小。
Jun, 2022
这篇论文介绍了张量网络及其在机器学习中的应用,张量网络通过分解大规模数据矩阵来实现数据的近似表达与计算的降维,是一种常用的数据处理技术。
Jul, 2022
SVDinsTN是一种高效的张量网络结构搜索方法,通过为每个边插入对角线因子,同时计算张量网络核和对角线因子,实现了对结构的高效评估,大幅提升了数据分析和机器学习的效率并保持了良好的代表性能。
May, 2023
描述了TensorKrowch Python库的主要功能和基本用法,并提供了有关其构建块和优化的技术细节,以便将张量网络轻松集成到机器学习管道中。
Jun, 2023
本研究通过张量网络对卷积进行了全新的视角探讨,通过图表述来研究其基础性质,证明了该方法的表达能力,并通过实验证明了其对于多种卷积操作的适用性和有效性。
Jul, 2023
TENSORCODEC是一种用于一般张量的有损压缩算法,通过将神经张量列车分解与Tensor-Train分解相结合,将输入张量折叠成更高阶的张量,重新排序输入张量的模索以揭示可供NTTD利用的模式,实验结果表明TENSORCODEC在压缩效率、重建准确性和可扩展性方面具有优势。
Sep, 2023
Scorch是一个能够无缝集成高效稀疏张量计算到PyTorch生态系统的库,通过自动化关键优化,实现了在多个领域的深度学习模型中1.05-5.78倍的速度提升,为扩展深度学习和开发其他稀疏库提供了有价值的工具。
May, 2024
本研究解决了标量对张量和张量对张量回归问题的不足之处,提出了一种新的张量输入树(TT)方法。通过快速的随机和确定性算法,TT在标量对张量回归中表现出色,与张量输入高斯过程模型相竞争,并通过添加树集成方法扩展到张量对张量问题,展现出优越的性能。
Aug, 2024