张量网络视角下的卷积
本研究探讨了将张量压缩作为神经网络层的应用,并提出了张量压缩层的概念。通过在图像识别任务中使用张量压缩技术,本文提出的网络模型在减少模型参数数量的同时保证了准确性,并在某些情况下实现了更好的性能。
Jun, 2017
本研究通过引入张量代数操作来替代全连接层,提出了张量收缩层和张量回归层,以减少参数数量并保留激活的多线性结构,同时通过在张量收缩层和张量回归层中加入低秩约束,改进了神经网络的性能,并在 MRI 图像分析任务上取得了显著的性能提升。
Jul, 2017
本文研究了 sheaf 卷积网络的神经切向核,通过将函数分解为由图形决定的前向扩散过程和节点激活对输出层的复合效果所确定的两部分,提出了一种参数化方法以拟合核函数。
Aug, 2022
该研究提出了一种具有突破性的方法,通过对卷积神经网络中的密集层进行张量化,来减小模型大小和计算时间,同时结合注意力层和对比自监督学习训练以有效分类云信息,从而能够准确进行天气预测。
Mar, 2024
本文提出一种全新的方法,旨在将卷积神经网络(CNN)完全参数化为高阶低秩张量,并将整个网络进行规范化,从而显著减少参数数量,而且在人体姿势估计这一具有挑战性的任务中,即使使用较小的压缩比,也能够实现卓越的性能。
Apr, 2019
卷积神经网络(CNN)是最广泛使用的神经网络架构之一,在计算机视觉任务中展示出最先进的性能。通过 “张量化” 可以有效地减小较大的 CNN 的体积而保持准确性,本文通过评估截断密集(未进行张量化)CNN 的卷积核对其准确性的影响来探索这一问题,并发现这种 “相关压缩” 是如何在密集 CNN 中编码信息的固有特性。
Mar, 2024
该研究提出了张量神经网络,利用高阶张量操作解决参数学习的难题,并实现了对高阶输入对象的自然处理,同时利用训练方法和压缩技术在精度和效率上均有提升。
May, 2018
通过对几何卷积、外积、张量索引收缩和张量索引排列的结合,我们提出了几何图像网络,可以更好地处理科学领域中粒子、向量和张量层面的图像信息。在小规模数值实验中,我们发现该网络具有很好的泛化性能,可以应用于宇宙学或海洋动力学等科学机器学习问题。
May, 2023