ICMLApr, 2023

交替局部枚举 (TnALE): 使用较少评估解决张量网络结构搜索

PDF
TL;DR提出 TnALE 算法，通过局部枚举轮流更新每个结构相关变量，大大减少了目标函数的评估次数，理论上证明了 TnALE 和 TNLS 都可以达到线性收敛，比较了两算法的评估效率，结果表明 TnALE 可以比最先进算法更少地找到实用的 TN 排列和秩。
tensor networktn structure searchtnalelinear convergenceevaluation efficiency
发现论文，激发创造
  • 通过大型语言模型 (LLMs) 探索更有效的张量网络结构搜索算法

    通过利用大型语言模型（LLMs）中嵌入的知识，开发一种名为 GPTN-SS 的方法，它基于演化式的手工制作 LLM 提示系统，可以有效利用现有方法的见解，开发出在探索和开发之间取得更好平衡的新型 TN-SS 算法，并展示了其在高质量 TN 结构的搜索以及自然图像压缩和模型参数压缩方面的优越性能与普适性。

    Feb, 2024

  • 通过局部采样的张量网络结构排列搜索

    该论文研究了张量网络结构搜索中的一种实际变体，称为 TN 排列搜索（TN-PS），通过提出一种元启发式算法，证明了其计数和度量特性，并降低了计算成本和模型大小。

    Jun, 2022

  • 交替最小化的低秩张量补全

    本文提出了一种名为 Tubal-Alt-Min 的快速迭代算法，用于解决观测一个三阶张量子集的难题，实验表明，该算法在指数上收敛，并且比基于张量核范数的算法在恢复误差上有显著的提高。

    Oct, 2016

  • 局部搜索是神经架构搜索的一个极强的基准

    本文介绍一种新增的局部搜索 (Local Search) 算法，用于在多目标 (网络精度与复杂度) 条件下，对神经网络进行结构搜索。同时，本文提供两种基准数据集 MacrosNAS-C10 和 MacrosNAS-C100，并将所提出的算法与随机搜索 (RS) 和进化算法 (EAs) 进行了比较，发现局部搜索算法在相同数据集下具备比随机搜索更高的性能。

    Apr, 2020

  • 交替最小二乘法用于低秩矩阵重构

    基于最小二乘估计的迭代算法可以用于重建低秩矩阵，并且针对线性结构的矩阵和正半定矩阵等具有先验知识的矩阵，有更好的性能，称为交替最小二乘 (ALS) 算法，并通过模拟实验和 Cramér-Rao 下界进行了比较。

    Jun, 2012

  • 通过置换子空间进行训练时神经元对齐以提高线性模式连接性和模型融合

    通过在训练时进行神经元对齐，以及使用剪枝和部分梯度掩码算法，研究了深度学习中解决线性模式连接层面上的障碍的方法，这在模型融合算法中具有重要的应用。

    Feb, 2024

  • 正交 ALS: 一种理论上有根据的张量分解算法，适用于实际应用

    本文提出了一种改进的 ALS 算法，可以在保持效率的同时，通过使用随机初始条件和保持一致性假设，证明性地恢复张量的真实因子。使用合成数据进行的实验表明，我们的方法在张量分解、张量填充和计算词嵌入等任务上明显优于传统 ALS 算法。

    Mar, 2017

  • SVDinsTN：一种结合有效结构搜索的张量网络表示综合方法

    SVDinsTN 是一种高效的张量网络结构搜索方法，通过为每个边插入对角线因子，同时计算张量网络核和对角线因子，实现了对结构的高效评估，大幅提升了数据分析和机器学习的效率并保持了良好的代表性能。

    May, 2023

  • 通过 Lovász's 局部引理和马尔可夫随机场采样学习组合结构

    本论文提出了一种基于神经网络的生成模型 Nelson，采用 Lovász Local Lemma，能够在满足组合约束条件的情况下生成样本。同时，本论文还提出了一种完全可微分的基于对比分歧的学习框架，称为 Nelson-CD，它利用了 GPU 的并行计算能力具有高效性。实验结果表明，Nelson 能够生成 100% 有效的结构，并且在学习度量方面，如对数似然和 MAP 分数等，优于基线模型。

    Dec, 2022

  • 利用张量网络走向绿色人工智能 - 通过高效算法实现可持续性与创新

    本文提出了一种可持续且环保的 AI 研究工具 ——tensor networks，它可在不降低准确率的前提下提高算法效率，从而为 Green AI 开创更好的算法方向。

    May, 2022