- 卷积权重的奇异值分解:一种 CNN 可解释性框架
本文提出一种基于张量的奇异值分解的方法,用于理解卷积层的动态过程和发现卷积特征之间的相关性,以及在图像分类网络中应用超图模型进行可解释性研究。
- 使用奇异值分解的井字棋评估函数压缩与性能评估
本文研究了用奇异值分解(SVD)对井字游戏的评估函数进行近似,并探讨了近似精度对胜率的影响。研究结果表明,SVD 可以有效压缩棋盘游戏策略,并且较之于 SVD,使用高阶奇异值分解(HOSVD)的压缩方法会获得更高的胜率。
- ICLR加权低秩分解语言模型压缩
提出了一种基于 Fisher 信息的 SVD 压缩方法(FWSVD),它可以通过加权计算参数的重要性来降低模型压缩中优化目标与模型任务的目标不匹配的问题,该方法适用于任务特定模型并且可以取得比其他紧凑模型策略更好的性能和更高的压缩率。
- ICLRGradMax:使用梯度信息生长神经网络
本文介绍了一种名为 GradMax 的技术,可以在训练期间添加新的神经元而不影响已经学到的东西,同时提高训练动态,并通过奇异值分解(SVD)高效地找到最佳初始化,从而实现了网络架构优化的目的。
- ICCV为什么近似矩阵平方根在全局协方差池化中表现优于准确的奇异值分解?
研究了基于全局协方差池化的卷积神经网络,使用奇异值分解方法计算矩阵平方根,发现通过牛顿 - Schulz 迭代而非精确计算的矩阵平方根能更好地提高分类性能,并提出了新的基于 Padé 近似的反向传播方法和混合训练协议,该方法在大规模和细粒度 - EMNLP无监督实体链接的低秩子空间
本文介绍了一种轻量级可扩展的实体链接方法 Eigenthemes,该方法仅依赖于实体名称和关联知识库,并使用奇异值分解来鉴定候选实体,通过实验表明,在多个不同领域的基准数据集上,Eigenthemes 相比现有的其他方法具有更好的实体链接效 - ICLR渐变投影记忆用于连续学习
提出一种新颖的方法,通过奇异值分解来获取梯度子空间,以进行正交梯度下降,从而减少深度神经网络在学习新任务时过度调整权重而忘记旧任务的现象。
- 隐私保护分布式 SVD 的联邦功率方法
通过 Federated Learning 框架的机制,我们提出了一种叫做 FedPower 的算法以支持现代设备用户集体学习中的部分奇异值分解。该算法通过多个本地迭代和全局聚合的替换,以改进通信效率,并解决了用户数据隐私保护的问题。
- 模型鲁棒性的奇异值视角
本文研究探讨卷积神经网络在人工智能领域的应用,并且探讨该类网络存在的问题和局限性,提出使用奇异值分解方法可以分析卷积神经网络中涉及到的非人类因素,从而对其产生作用的原因展开研究。同时提出了一种新的特征分配方法,建立了卷积神经网络的理论框架。
- MM使用单个无人机的基于 RSSI 的户外定位
本文提出了一种基于 RSSI 的定位方法,利用单个无人机通过聚类方法和奇异值分解来实现,实验结果表明,该方法可以实现低至 7 米的定位准确度。
- 量子奇异值分解器
提供了一种基于量子变分电路构建奇异值分解的算法,可以在计算基的情况下仅通过一次测量获得两个子系统的精确输出一致性,并保持系统的纠缠状态。
- 基于 T 乘积的张量奇异值分解的广义张量函数
本文通过张量奇异值分解(T-SVD)介绍了广义张量函数的定义,以及通过 T - 乘积介绍了张量的压缩奇异值分解(T-CSVD)和投影算子;使用正交张量建立了张量的柯西积分公式,并利用该公式解张量方程;找到块循环算子建立的张量与矩阵之间的同构 - 基于 GCC-PHAT 的近距离麦克风阵列方向估计方法的复杂度和准确性研究
本文研究了各种广义互相关相位变换(GCC-PHAT)方法在一对近距离麦克风中的准确性。我们探讨了基于插值的方法,还提出了一种基于奇异值分解(SVD)的方法。所有研究方法均采用 C 代码实现,并测量执行时间以确定哪种方法最适合于低成本嵌入式硬 - 测试图的聚类能力:算法和下限
本文提出了一种利用角度信息和奇异值分解的子线性时间图聚类算法,并在其基础上给出了测试聚类可行性的查询复杂度下界,并且通过这些技术,也实现了新的子线性时间下界近似最大割价值的问题。
- ECCV使用奇异值分解的自监督知识蒸馏
本文提出了一种使用奇异值分解来改善知识转移的新方法,将 T-DNN 的知识传递给 S-DNN 以提高计算效率,并通过自我监督的方式实现知识转移,模拟结果表明,在与 T-DNN 相同的计算成本下,我们的 S-DNN 比最先进的蒸馏技术驱动的 - NIPS深度学习逼近:零样本神经网络加速
本研究针对生产系统中的计算和内存需求问题,提出一种 Deep Learning Approximation 技术,通过对网络结构和系数进行操作,而不需要重新训练或获得训练数据,从而构建出快速网络。该技术通过应用一系列独立的优化来降低正向传递 - HybridSVD: 当协同信息不足时
我们提出了一种新的混合算法,可以在标准的协同过滤技术中加入用户和物品方面的信息。该算法利用奇异值分解的广义公式,增加了解的灵活性,并允许在其潜在空间上施加预期的结构。我们在各种数据集上评估了该方法,并展示了其在类似的混合模型中的优越性。
- CVPR使用可分离滤波器的二值卷积神经网络,以实现高效硬件加速
通过在卷积神经网络内使用奇异值分解(SVD)来减少计算和存储复杂性的 BCNNw / SF 被提出,并且实现了对 CIFAR-10 数据集的 FPGA 硬件加速器,BCNNw / SF 加速器相对于仅有 BCNN 可以节省 17%的内存,并 - 频域奇异值分解用于高效空间音频编码
本文提出了一种用于在虚拟现实中更准确地复制和存储高阶环绕声的框架,其中采用了奇异值分解和噪声替代技术,使得频率跨度更大,能实现数据块之间的平滑过渡,并增强了在抛弃高阶环绕声通道时的感知质量,其效果在客观和主观评估中得到了证实。
- MM非稀疏低秩矩阵的量子奇异值分解
本文介绍了一种在量子计算机上求解非稀疏非定秩矩阵指数的方法,可以在量子机制下得到奇异值及相关奇异向量的值,同时求解时所需的时间远远快于已知的传统算法。本方法针对非厄米和非方阵也适用,并讨论了最短的等距矩阵问题。