- TQCompressor:通过排列改进神经网络中的张量分解方法
我们介绍了一种新的神经网络模型压缩方法 TQCompressor,并使用改进的张量分解技术解决预训练语言模型在 NLP 任务中计算和存储需求方面的挑战。我们通过置换增强 Kronecker 分解,成功降低了模型表示能力的损失。我们将该方法应 - AAAI二进制和计数数据的高效非参数张量分解
提出了一种基于非参数高斯过程的 EFFICIENT NONPARAMETRIC TENSOR DECOMPOSITION(ENTED)方法,通过使用非参数高斯过程取代传统的多线性结构,并利用 PG 增强模型,建立了适用于二进制和计数分布的共 - 基于块卷积和反射边界条件的任意阶张量分解方法用于多维数据分析
此篇论文介绍了一种新的 tensor-tensor 乘积方法 —— 基于带有反射边界条件的块卷积,同时提出了一种基于该乘积的任意阶 tensor 的分解方式,与 t-SVD 相比,新的分解具有更低的复杂度且在分类和压缩等应用中获得更高质量的 - ICML张量分解遇见控制理论:学习线性动力系统的通用混合
文章提出了一种新的基于张量分解的方法用于学习混合线性动态系统,在不需要分离条件的情况下,可以与 Bayes 最优分簇竞争,在具有挑战性的部分观测情况下工作。
- ICLR张量分解中的近似误差对神经网络压缩的信息量有多大?
通过实验研究表明,神经网络张量分解压缩中,权重近似误差与性能误差之间存在正相关性,而基于特征的近似误差并不能明显提高相关性,可以尝试使用不同的分解方法来进行选择和压缩,使用权重近似误差作为指标。
- 弱监督升级为结构化预测
在标签输出空间包含二进制或多类标签集以外的结构化预测情况下,本文介绍了一些技术基于伪欧几里得嵌入和张量分解,提供了几乎一致的噪声率估计,并针对常曲率黎曼流形引入了新的不变量作为一致的噪声率估计。
- ICML利用复数多项式网络的对抗性音频合成
利用 APOLLO 多项式复数网络,在语音合成中自然地整合了复数值的时频表示,并通过标准张量分解来实现不同的结构,实现更丰富的相关性建模,同时提高 SC09 数据集上的音频生成性能。
- 深度多项式神经网络
本文提出了一种基于多项式扩展的新型函数逼近器 ——π- 网,它是多项式神经网络,通过具有共享因子的张量集合分解来估计自然表示的未知参数,可用于许多任务和信号的表达建模,并在激活函数的辅助下在图像生成、人脸验证和 3D 网格表示学习等任务中实 - PolyGAN:高阶多项式生成器
本文介绍了 PolyGAN,它使用高阶多项式作为数据生成器,并通过使用两种张量分解来减少参数数量并展示了如何有效地实现分层神经网络,从而在不使用激活函数的情况下逼近数据分布,该方法在合成和真实数据(图像和 3D 点云)上的实验评估证明了 P - Tucker 格式低秩张量分解的随机算法
本文研究基于随机算法的张量分解方法在 Tucker 表达式下的应用,提出并分析了 HOSVD 和 STHOSVD 的随机算法,并针对大规模数据集提出了适用于不同需求的改进方案。
- 学习具有对称输入的两层神经网络
提出了一种学习两层神经网络的新算法,仅需对称输入的条件下,使用基于矩估计的方法结合张量分解的扩展与谱算法,可以在许多对称输入分布下更少的样本数量下稳健地恢复神经网络的参数。
- 压缩循环神经网络的张量分解
本文通过使用多种张量分解方法对门控循环单元 RNN 进行再参数化,旨在减少参数数量并保持表达能力,研究表明,在序列建模方面,Tensor Train 表现最佳。
- SamBaTen:基于采样的批量增量式张量分解
本文介绍了 SaMbaTen 算法,一种用于处理动态演化的多模态数据集的增量张量分解技术,能够在简化空间中有效地汇总现有张量数据及其增量更新,并且在精度方面具有与非增量技术相当的结果,速度快 25-30 倍,并且可以处理最大维度达到 100 - 卷积整流网络作为广义张量分解
本研究介绍了一种将卷积算术电路转化为卷积整流网络的构造方法,并使用算术电路领域的数学工具证明了卷积整流网络是具有深度效率的,但这种效率相对于卷积算术电路来说还是较弱,因此开发有效的卷积算术电路训练方法可能会引发一种深度学习架构,其具有确凿的 - 通过迭代硬阈值方法实现低秩张量恢复
本文研究了如何从少量线性测量中恢复高阶的低秩张量,介绍了几种张量分解的迭代硬阈值算法,并探讨了其收敛性,界限和性能,考虑了高斯随机测量、张量补全和傅里叶测量等不同情形。
- 低秩正则化的卷积神经网络
这篇论文提出了一种用于加速 CNNs 的基于张量分解的技术,并且发现使用降秩限制的 CNNs 除了速度更快之外,有时候性能也表现更好,在进行了对比测试后,尤其是对于 VGG-16 模型,在性能无损的同时,前向传播时间可以缩短一半,从而证明低 - 用于信号处理应用的张量分解:从双向到多向分量分析
本文从信号处理角度提供了关于高阶张量分解的全面介绍,包括基本的 CP 和 Tucker 模型,通过多种数据处理方法提供更加灵活和自然的潜在因素;研究表明张量分解可用作现代信号处理、数据分析和机器学习应用的最有效和最有前途的工具。
- 大数据处理的新方法:张量网络和张量分解
本研究主要介绍了张量网络、张量分解、多元分析,低秩逼近以及大数据分析等多个方面,并讨论了其在异常检测、特征提取、分类、聚类分析、数据融合和集成、模式识别、预测建模、回归、时间序列分析和多元分析等领域中的潜在应用。
- 更多则更美:对于学习大高斯混合模型来说,维度的 Blessing
本文证明已知的具有相同协方差矩阵和组成部分数量为固定次数多项式的高维混合高斯成分是多项式可学习的,但在低维空间下这种情况不可能存在。通过一种称为 Poissonization 的技术,将高维混合高斯成分变换为直接解决线性映射的问题。最后,我 - 张量分解的唯一性及其在多项式可辨识性中的应用
我们给出了 Kruskal 定理的强鲁棒版本以及在张量分解中的应用,证明了通过多项式样本多项式鉴别性仅仅需要较小的误差即可对分解进行近似恢复,并展示了如何在混合变量模型中使用张量分解找到有效的学习算法。