Sep, 2020

使用渐进式搜索张量环网络进行启发式排名选择

PDF
TL;DR本文研究了 Tensor Ring Networks 在深度神经网络中的应用，发现前人研究中很少涉及其等级选择问题。在此基础上，作者提出了一种名为 PSTRN 的新颖渐进遗传算法，能有效寻找最优等级，实验证明该算法可以显著降低寻找等级的复杂度，并在 MNIST、CIFAR10/100、UCF11 和 HMDB51 等公共基准测试中实现了最先进的性能。
发现论文，激发创造
  • 利用环结构网络学习高效张量表示

    提出一种称为张量环表示的新型张量分解的网络结构，该结构采用低阶核张量的循环多线性乘积，通过低秩近似的方法来有效地学习张量环表示，可以在计算上更有效地执行基本操作，并且通过与现有的张量列网络相比实验结果表明，该模型更具表达能力和一致性信息。

    May, 2017

  • 张量环优化的量子增强张量神经网络

    通过引入 Tensor Ring 进行优化，提出了一种多层设计的 Tensor Ring 优化量子学习分类器（Quan-TR），取代了 Tensor Networks 的全连接层；通过在量子位测量上使用随机梯度下降算法，将 TR-QNet 参数进行优化。在 Iris、MNIST 和 CIFAR-10 等三个不同数据集上进行评估，证明了对于二分类问题实现了更高的精确度。通过对比 TN 模型的最新量子和经典实现进行基准研究，展示了所提出的 TR-QNet 的有效性。另外，TR-QNet 的可扩展性突出了其在大规模深度学习应用中的潜力。通过 Github 上的 PyTorch 实现可得到 TR-QNet。

    Oct, 2023

  • 低秩张量环噪声张量补全

    本文提出了一种新的噪声张量补全模型，结合了张量环核范数和最小二乘估计器来正则化原始张量和观测条目，通过优化算法以实现高效且精确地预测缺失条目。

    Mar, 2022

  • 通过局部采样的张量网络结构排列搜索

    该论文研究了张量网络结构搜索中的一种实际变体，称为 TN 排列搜索（TN-PS），通过提出一种元启发式算法，证明了其计数和度量特性，并降低了计算成本和模型大小。

    Jun, 2022

  • 用张量环核范数最小化实现视觉数据补全

    该论文利用张量分解的方法，提出了一种新的张量核范数来解决图像 / 视频修复问题中的矩阵缺失， 并基于该方法提出了有效的张量完成算法。

    Mar, 2019

  • 基于潜空间秩最小化的张量环分解：张量补全的高效方法

    本文提出了一种新颖的张量完成方法，该方法通过利用张量环潜空间的低秩结构，将核范数正则化引入潜在 TR 因子，从而通过奇异值分解，同时获得最优秩的潜在 TR 因子和恢复的张量。实验结果表明，所提出的方法相对于现有的算法具有更好的表现和效率。

    Sep, 2018

  • 基于贝叶斯稳健性的不完整多维数据张量环模型

    本文提出了一种基于贝叶斯方法和变分贝叶斯算法的鲁棒张量环分解（BRTR）方法，它可以避免对张量环模型排除选择或评价参数进行降阶，并自动检测 TR 等级，从而在鲁棒张量补全问题中实现更精确的解决方案。实验结果表明，BRTR 可以显著提高比其他先进方法的性能。

    Feb, 2022

  • 大规模数据的可扩展和健壮的张量环分解

    本文提出了一种可扩展且具有鲁棒性的张量分解算法，能够处理大规模张量数据的缺失值和异常值。该算法通过自适应填充缺失值和在分解过程中识别异常值的新颖自加权最速下降方法，结合张量环模型，采用快速 Gram 矩阵计算 (FGMC) 方法和随机子张量草图策略大大降低了存储和计算复杂度。实验结果表明，在存在异常值时，该方法优于现有的张量分解方法，并且比现有的强健张量完成算法运行速度更快。

    May, 2023

  • 通过大型语言模型 (LLMs) 探索更有效的张量网络结构搜索算法

    通过利用大型语言模型（LLMs）中嵌入的知识，开发一种名为 GPTN-SS 的方法，它基于演化式的手工制作 LLM 提示系统，可以有效利用现有方法的见解，开发出在探索和开发之间取得更好平衡的新型 TN-SS 算法，并展示了其在高质量 TN 结构的搜索以及自然图像压缩和模型参数压缩方面的优越性能与普适性。

    Feb, 2024

  • 高效深度神经网络的训练等级裁剪

    文章提出了一种名为 TRP 的方法，该方法可以将低秩逼近和正则化融入神经网络模型的训练过程中，通过使用随机次梯度下降优化核范数来促进 TRP 中的低秩，从而消除低秩逼近后的微调，并在 CIFAR-10 和 ImageNet 上显着优于以前使用低秩逼近的对比方法。

    Oct, 2019