- DiffRed:稳定秩引导的降维
通过使用 DiffRed 技术,我们可以将多维数据集映射到低维空间,并获得比常用降维技术更低的扭曲度和应力值。
- 通过主成分分析实现神经网络特征化和熵调节的数据平衡
本文研究了神经网络行为与数据记录在训练数据的低阶主成分所构成的分布之间的关系,通过评估每个直方图箱子相关的熵来实现简单的数据平衡程序。
- 超越 PCA:一种概率 Gram-Schmidt 方法进行特征提取
使用概率格拉姆 - 施密特(PGS)正交化过程来探测和映射冗余维度,并通过该过程结合捕捉数据中非线性依赖的函数族构建一系列协方差矩阵,从而提取线性特征并移除非线性冗余。
- 随机变量与其主成分之间的相关性
使用线性代数的向量和矩阵概念,从个体随机变量的统计信息出发,找到了与这些统计信息相关的一组随机变量的等效统计信息,得到了描述随机变量与代表它们的主成分间相关系数的代数公式。该公式与因子分析中用于计算因子载荷的公式相同,可以用于优化主成分分析 - 神经概率后续主成分的不确定性量化
为了在安全关键领域中部署图像恢复模型,本文提出了一种通过神经网络在单次前向传递中预测后验分布的主成分,可靠地传达实例适应不确定性方向,实现与后验采样器相当的不确定性量化,在速度上提升数倍。
- 关于去噪的后验分布:应用于不确定性量化
通过计算后验分布的高阶中心矩与后验均值的高阶导数之间的基本关系,提出了一种用于预训练的降噪器的不确定性估计方法,可有效计算图像区域的主成分以及在任意一维方向上的近似全边际分布。该方法快速、内存效率高,并且无需训练或微调降噪器。
- Eigenpatches -- 从主成分得到的对抗性 Patch
本文分析了 375 个生成的对抗补丁,并计算了其主成分,结果表明这些成分的线性组合可以成功地欺骗目标检测器。
- 基于主成分随机外推的数据增广技术
本文提出了一种针对数据不平衡的数据增强方法 REPRINT,基于隐藏空间表示,运用主成分的子空间来生成新的目标类样本,同时采用标签重组技术实现新样本的标签合成,与多种 NLP 数据增强方法相比,在四个文本分类基准测试中显示出令人瞩目的改进。
- ICML主位分析:使用 Schur-Concave Loss 进行自编码
本文研究了一种线性自编码器,其潜在变量受到量化或噪声干扰且约束条件在潜在方差集合中呈舒尔凹性。作者表明,将源分解为其主成分是最优的,而且提出了使用固定速率编码估计潜在变量所需比特数的标准位逐位分析(PBA)算法和自编码器变量压缩解码源的方法 - 基于主成分分析赋予深度 3D 模型旋转不变性
本文提出了一种新的方法,利用本征参考系和主成分分析技术,使得深度模型在训练时具有旋转不变性,并经过了广泛的实验证明了其性能。
- ACL关于单词嵌入空间的维度语言特征
本文对词嵌入进行了主成分分析,并提出了许多新颖且反直观的观察。研究人员进一步说明了方差解释率作为下游任务性能的代理效用,并通过对主嵌入空间的句法探测来展示主成分所捕捉的句法信息与其解释方差的数量不相关,从而调查了基于方差的嵌入后处理的局限性 - 高维异方差数据的最优加权主成分分析
研究如何从高维、异方差数据中估计主成分,提出使用加权样本协方差矩阵的主特征向量来考虑方差的异质性,并证明了在一些自然的统计假设下,最优权重收敛为信号和噪声方差的简单函数;此外,讨论了如何在未知方差的情况下使用估计的信噪比,最后通过天文数据的 - ICLR检测对抗样本的早期方法
本研究使用三种方法检测机器学习分类器所遭受的对抗性扰动,其中最佳检测方法显示对抗性图像在 PCA 下的低排名主要成分上存在异常强调。
- 无需主成分分析的主成分投影
该论文介绍了一个迭代算法,用于高效地将向量投影到矩阵的前几个主成分上,避免了对主成分分析(PCA)的显式计算,提供了对最流行的主成分回归问题的快速迭代方法。
- 随机块 Krylov 方法用于更强和更快的近似奇异值分解
通过引入块 Krylov 方法,本文改进了随机幂迭代法的时间复杂度,并给出了针对任何矩阵的主成分分析的近似最优解,同时探讨了简单技巧如何利用常见的矩阵属性显著提高运行时间。
- 样本协方差矩阵的主成分
通过探究样本协方差矩阵的主成分、大偏差估计以及异常值和非异常值特征向量的推导,得到了一些新的结论,如:具有信息量的主成分特征向量可以反映总体协方差矩阵的次临界模式。
- 半定松弛是否可以解决稀疏主成分分析问题直至信息极限?
研究稀疏主成分分析、半定规划等算法在单脉冲模型中的应用,证明了 SDP 算法在 k≥Ω(√n) 时不能恢复稀疏脉冲,并且推测在单脉冲模型中,没有高效算法可以恢复 Ω(√n)稀疏度的脉冲。最后,提出经验结论,表明通过简单的协方差阈值算法可以实 - 无监督模糊聚类的基于相似度的簇合并方法
本文提出了一种相似性驱动的聚类合并算法,用于解决聚类验证问题,算法采用聚类相似度矩阵计算相似性,自适应阈值进行合并,同时使用具有 p - 范数距离和聚类主成分的修改广义目标函数来进行非监督聚类。
- 高维回归分析中的因子模型和变量选择
本文提出了一种因子方法来同时考虑模型选择和功能回归的视角,通过将预测向量分解为反映解释变量的共同因素和特定变异性的两个不相关随机分量,以包括主成分作为额外的解释变量在增广回归模型中,维度高于样本大小的线性回归问题中传统假设的稀疏向量参数是具