- LoQT: 低秩适配模块用于量化训练
LoQT 是一种用于高效训练量化模型的方法,它使用基于梯度的张量分解来初始化可训练的低秩权重矩阵,并周期性地合并到量化全秩权重矩阵中。我们发现 LoQT 使得在消费级 24GB GPU 上能够高效地训练高达 7B 参数的模型,并且还展示了在 - 基于锚图张量分解的可解释多视角聚类
基于锚点图的聚类方法在处理大规模数据和获取高性能聚类方面表现出色。为了提高锚点图分解矩阵的聚类可解释性,并全面考虑不同视点信息,我们提出了一种基于非负张量分解的多视点聚类方法。实验证明了该方法的有效性。
- 训练期间自适应排名谱剪枝卷积层
本文提出一种基于张量 Tucker 分解的低参数训练方法,通过自适应剪枝卷积核的 Tucker 秩来降低训练成本,并在保证损失下降的情况下,达到与完整基线模型相当甚至更好的性能。
- TensoIR:张量反渲染
TensoIR 是一种新的反渲染方法,基于张量分解和神经场,它可以从多视角图像中估计场景几何,表面反射和环境照明,从而实现逼真的新视角合成和重照结果。
- ICML深度张量分解中的多项式增长隐式正则化
研究深度学习在张量因式分解中的隐式正则化效应,通过数值实验证明了这种隐式正则化可促进获得更准确的估计和更好的收敛特性。
- ER: 等变正则化程序用于知识图谱补全
通过引入 Equivariance Regularizer 作为一种新的约束方法,可以通过利用 head 和 tail 实体之间的语义等变性来提高模型的泛化能力,从而有效解决了当前方法中存在的大小参数空间问题,并取得了实验结果上的显着提高。
- IJCAIGOCPT:广义在线典型多重张量分解与完成
该论文提出了一种名为 GOCPT 的广义在线 CP 张量分解和完成框架,用于处理张量在演化过程中更为复杂的情景,其中保持张量的 CP 结构。通过该框架,可以统一以往已有的在线张量分解和完成设置。此外,文中还提出了一种 GOCPTE 的变体, - NePTuNe: 基于神经网络的 Tucker 网络用于知识图谱补全
NePTuNe 模型是一种结合了张量分解和深度学习的知识图谱补全方法,其在 FB15K-237 数据集上表现卓越,在 WN18RR 数据集上表现接近最佳。
- ICML张量分解中的隐式正则化
采用动力学系统视角和贪心低秩张量搜索方法,我们得出了张量秩作为衡量复杂度和深度神经网络隐式正则化的方法,进而解释了深度学习中的隐式正则化和现实世界数据的性质对泛化的影响。
- AAAIPANTHER: 增强通路非负张量分解用于高阶特征学习
为构建更准确、更好解释的遗传医学机器学习模型,我们引入了 “PANTHER”,一种通常由 molecular mechanisms 编码的遗传途径的高阶特征学习的非负张量分解技术,我们将 “PANTHER” 应用于疾病类型的 softmax - 基于张量分解的知识图谱补全的对偶引导正则化方法
该论文提出了一种新的正则化方法 DURA,基于张量分解的知识图谱补全模型,在多个实验中验证了其效果和多样性。
- AAAISWIFT: 稀疏非负张量的可扩展瓦石均值分解
本文提出了一种新的张量分解方法 SWIFT,将张量分解问题转换成了一个最优输运问题,并利用 Wasserstein 距离度量输入张量和重构张量的距离,与其他 CP 算法具有可伸缩性,获得了相对于基线方法 9.65% 和 11.31% 的性能 - KDD方向性的多元排序
本文提出了一种针对多方面排名问题的方向性多方面排名准则,并基于概率多元张量分解模型推导了完整的解决方案,实验证实了该方案在大型数据集上的有效性。
- ICML对称张量分解的流式核心集
本研究重要的优化模块是张量分解,特别是在潜变量模型中。作者介绍了两种新的算法技术:在线过滤和核化,并提供了六种算法来实现不同的核心集大小、更新时间和工作空间的折衷方案,以击败或匹配各种现有算法。在矩阵的情况下,作者的在线行采样算法保证了(1 - 卷积神经网络结构压缩的分类与评估
简介神经网络压缩,分类不同压缩方法,探讨张量分解和概率压缩等技术,研究证明 SVD 和概率压缩或修剪方法最优。
- TASTE:基于时间和静态张量分解的电子健康记录表型化
本文提出了一种名为 TASTE 的张量分解算法,能够同时考虑电子健康记录中的静态和时序信息,经综合实验验证,TASTE 所提取的心力衰竭患者表型效果较好。
- PREMA: 基于原则的多视角张量数据恢复
本文提出了一种名为 PREMA 的算法,利用低秩张量分解工具来融合多视角数据,并在某些条件下提供恢复保证,以重构多个粗略视角数据的精细级别数据,以解决个性化分析和预测的问题。
- CVPR基于分解的高阶 CNNs 及其在时空情绪估计中的应用
本文提出了一种基于张量分解的高效多维(可分离)卷积框架,为训练深度卷积神经网络提供了新的思路。该方法可以应用于脸部情感分析,将静态图像的分类结果应用于动态视频图像,取得了优秀的分类性能。
- WSDM通过张量分解发现高维人类行为数据中的隐藏结构
应用非负张量因式分解方法在穿戴式传感器数据集 StudentLife 中,提取潜在的时间因素和相似个体群组,成功发现了表现良好的个体和常常从事休闲活动的个体,从而揭示了数据的低维结构。
- 二值化知识图谱嵌入
本文介绍了一种用于知识图谱补全的量化张量分解方法,通过在优化问题中引入量化函数,以二进制替换浮点值来减少模型大小,成功在保持任务性能的同时减少了一个数量级以上的模型大小。