- EMNLPTRAWL: 大型语言模型的张量约简和近似权重
通过 Tensor 降维和近似权重的 TRAWL 方法,优化了大型语言模型,无需重新训练即可实现性能增强,尤其对最终层的全连接权重的逐层干预策略相对明显,提高了 16% 的准确性,强调了有针对性和适应性技术在大型语言模型优化中的重要性,促进 - 基于矩阵分解的数据无关低位量化用于 KV 缓存压缩的解锁
通过基于张量分解的新型无数据量化技术 DecoQuant,我们成功压缩了大型语言模型中的 KV 缓存,提高了推理效率并保持相当的生成质量,并实现了高精度表示和低位量化的有机结合。
- 谱图卷积的系数分解
我们提出了一种基于谱图卷积的通用形式,其中多项式基的系数存储在一个三阶张量中,并通过在系数张量上执行某种系数分解操作来导出现有谱图卷积网络的卷积块。基于这个广义视角,我们开发了新颖的谱图卷积方法 CoDeSGC-CP 和 - Tucker, - FCNCP: 基于联合学习的耦合非负 CANDECOMP/PARAFAC 分解
基於聯邦學習的高效非負耦合張量分解算法框架 FCNCP 被提出,用於在不同服務器上安排的腦電圖數據上,實現科學協作而無需數據共享,實驗結果表明此方法能有效處理高階腦電圖數據並保留關鍵隱藏信息。
- 通过插值神经网络实现工程软件 2.0:训练、求解和校准的统一化
提出了一种基于插值理论和张量分解的新型神经网络(INN),它在工程软件领域具有较少可训练参数、训练速度快、内存占用小和模型准确性高等优势,并能够在空间、时间、参数和初始 / 边界条件等多个领域中提供统一的神经网络。
- 基于李群流形的因子张量异质性缓解方法,用于基于张量分解的时间知识图嵌入
我们提出了一种新的方法,将因子张量映射到统一的平滑 Lie 群流形上,以使因子张量的分布在张量分解中逼近均匀,从而克服了因子张量之间固有的异质性在张量融合过程中的显著障碍,并进一步限制了链接预测的性能。
- AlphaTensor 与量子电路优化
量子电路中 T 门计数的最小化是实现容错量子计算的关键挑战之一,本文提出了一种基于深度强化学习的方法 AlphaTensor-Quantum,利用张量分解与 T 门优化之间的关系,通过引入量子计算的领域专业知识和利用 gadgets,显著降 - 通过弹性网络结合张量网络进行事件流的表示学习
事件相机是神经形态学传感器,可以捕获异步和稀疏的事件流,本文提出了一种新颖的时空表示学习方法,通过张量分解可以同时捕获事件流中的全局相关性。此外,由于事件在空间上稀疏,我们提出了一种弹性网络结合的张量网络模型,可以获取有关事件流的更多空间和 - 广义张量分解的 ADMM-MM 算法
该论文提出了一种面向一般线性观测模型中低秩张量逆问题的新统一优化算法,该算法支持多种低秩张量分解模型和基本损失函数,并提出了基于交替方向乘子法向和主化极小化方法的优化算法。通过该算法可以解决广泛的应用,并且可以轻松扩展到任何已建立的张量分解 - 使用 GPU Tensor Cores 的可扩展张量学习 CP 分解
我们提出了 Exascale-Tensor,这是一种压缩基于张量分解的框架,用于支持超大规模张量分解,并通过实验证明了其可扩展性和有效性。
- 通过神经扩散反应过程实现动态张量分解
我们提出了一种动态张量分解方法(Dynamic EMbedIngs fOr dynamic Tensor dEcomposition,DEMOTE),该方法利用神经扩散 - 反应过程来估计每种张量模式中实体的动态嵌入。通过构建一个多部分图编 - 基于张量分解的脉冲神经网络注意力模块
使用张量分解和线性投影的脉冲张量与注意力图融合模块提出了一种新的脉冲神经网络(SNN)模型,该模型在分类任务上达到了最先进的性能,并超过了基于 Transformer 和 CNN 的 SNN 模型。
- 基于联合投影学习和张量分解的不完整多视图聚类
使用联合投影学习与张量分解的方法(JPLTD)解决了不完整多视图聚类(IMVC)中的问题,包括高维特征冗余和噪声、图的噪声以及丢失样本引起的图噪声,并通过 JPLTD 模型的优化算法取得了优于现有方法的实验结果。
- 利用图信息的可证明张量补全
通过构建动态图的数学模型,将新颖的图平滑正则化方法与张量分解模型相结合,解决了关于张量恢复的问题,从而获得了统计一致性的保证。
- SWoTTeD:一种临床时间表征的张量分解扩展
该论文介绍了一种名为 SWoTTeD 的方法,它是一种用于发现隐藏的时间模式的新方法,该方法通过集成多个限制和正则化来提高提取的时间表型的解释性。
- 多词典张量分解
我们提出了一种多字典张量分解(MDTD)框架,利用编码字典中关于张量模式的先验结构信息来获得稀疏编码的张量因子。通过实验证明,MDTD 相比无字典方法学习到更简洁的模型,且在重构质量、缺失值插补质量和张量秩的估计等方面均具有明显的改进,而且 - 线性张量变换的分解
本研究论文旨在开发一种能够将张量表示为有限数量低秩张量之和的精确张量分解的数学框架,通过解决三个不同的问题来导出:i)非负自伴随张量算子的分解;ii)线性张量变换的分解;iii)一般张量的分解。
- 个性化 Tucker 分解:在张量数据上建模共性和个性
我们提出了个性化的 Tucker 分解 (perTucker),来解决传统张量分解方法在捕捉不同数据集间异质性方面的局限性。通过将张量数据分解为共享的全局分量和个性化的局部分量,学习不同数据集间的独特和共同表示,我们证明了 perTucke - 深度神经网络压缩的量化可知因式分解
使用张量分解和量化相结合的方法,通过交替方向乘数法来压缩神经网络的权重,实现在保持预测质量的同时减少参数和计算量,并展示出与现有后训练量化方法相比的竞争性结果和高灵活性的优势。
- Strivec:稀疏三向量辐射场
提出了一种名为 Strivec 的新型神经表示方法,将 3D 场景建模为稀疏分布且紧凑分解的局部张量特征网格辐射场,并使用 CANDECOMP/PARAFAC(CP)分解和多尺度张量网格来实现对几何和外观的发现与利用,优于之前的方法并使用更