基于离散字典的结构化表示学习分解层
使用 Tensor Product Decomposition Networks(TPDNs)来近似现有向量表示,证明 RNNs 可以通过 Tensor Product Representations(TPRs)引导序列表示。
Dec, 2018
通过加强 Tensor Product Representation 编码的结构化表示的分解操作,我们提出了一种基于注意力的迭代分解模块 (AID),该模块可以应用于任何基于 TPR 的模型,并通过输入特征和结构化表示之间的竞争注意机制提供了增强的系统分解,从而显著提高了 TPR-based 先前工作在一系列系统化泛化任务中的性能。此外,定量和定性评估表明,AID 生成的结构化表示更具组合性和良好的结构性,优于其他方法。
Jun, 2024
通过神经 - 符号过渡性字典学习(TDL)框架,以一种自监督的方式学习数据的过渡性表示,将高维度的视觉输入信息压缩为一组张量作为神经变量,并发现隐含的谓词结构。通过原型聚类学习谓词,并使用扩散模型实现框架,通过合作博弈学习输入的分解,在 3 个抽象组合视觉对象数据集和 3 个神经 / 符号下游任务上进行了广泛实验,展示了学习到的表示能够对视觉输入进行可解释的分解,并且对于现有方法无法实现的下游任务具有平滑适应性。
Aug, 2023
我们提出了一种多字典张量分解(MDTD)框架,利用编码字典中关于张量模式的先验结构信息来获得稀疏编码的张量因子。通过实验证明,MDTD 相比无字典方法学习到更简洁的模型,且在重构质量、缺失值插补质量和张量秩的估计等方面均具有明显的改进,而且不会增加运行时间。
Sep, 2023
本文提出了一种基于混合张量分解方法 (Mixed-TD) 将卷积神经网络 (CNN) 映射到 FPGA 上的框架,该方法采用了层特定的奇异值分解 (SVD) 和标准分解 (CPD),每个 DSP 可以实现与最先进的 CNN 的 1.73x 至 10.29x 的吞吐量。
Jun, 2023
本研究主要介绍了张量网络、张量分解、多元分析,低秩逼近以及大数据分析等多个方面,并讨论了其在异常检测、特征提取、分类、聚类分析、数据融合和集成、模式识别、预测建模、回归、时间序列分析和多元分析等领域中的潜在应用。
Mar, 2014
探究了 Deep Taylor Decomposition 理论中的参数选择对于算法效果的影响,发现当用户所选用的 Taylor 根点是局部常数时,DTD 等价于基本的梯度乘输入方法。在这种情况下,该理论是欠约束的,需要注意其可靠性。
Nov, 2022
通过张量近似和结构分解的方法,该研究提出了一种软件框架(TASDER),以更好地支持硬件加速稀疏深度神经网络,并在能耗延迟乘积上平均提升了 83% 至 74%。
Mar, 2024
本文介绍了一种基本的张量分解模型:张量环分解,它能够通过一系列低维张量核的圆形多线性乘积来代表高维张量,并能够实现循环维度置换不变性,同时与 TT 分解具有相似的广泛表示能力。文章通过四种不同的算法对潜在核的优化进行了讨论,并探究了 TR 模型的数学性质。最后,在综合数据集上的实验验证了不同算法的性能。
Jun, 2016
该研究论文综述了六种张量分解方法及其在神经网络中的应用,说明使用这些方法可以明显地减少模型的大小,运行时间和能耗,在边缘设备上实现神经网络时效果显著。
Apr, 2023