- 构建贝叶斯逆问题的结构张量先验
通过特定的高斯先验,完全描述了结构化张量解的概率分布,包括均值向量和协方差矩阵,为贝叶斯反问题提供了一种新的先验方法。通过设计新的核函数并有效计算,实现了对汉克尔矩阵完成和手写数字图像分类器学习的两个具体问题的解决方案的可行性。
- 高斯协方差矩阵私密估计在合理参数范围下的下界
我们通过使用 Stein-Haff 恒等式,对于高斯分布的协方差矩阵进行私密估计所需的样本数量给出了下限。我们的下限与已知参数设置下的上限相匹配。
- 协同协方差和海森矩阵的特征分析以提高二分类效果
一种新方法将训练集上评估的协方差矩阵的特征分解与在深度学习模型上评估的 Hessian 矩阵相结合,实现了二分类任务中的最优类别可分性,通过投影数据到两个矩阵的最相关特征方向组合空间,优化类别可分性,实验证明我们的方法胜过传统方法,同时突出 - 一个通用的因果推断框架,允许有因果关系的隐藏变量
在这篇论文中,我们介绍了一种新颖且多用途的因果发现框架,它几乎可以适用于因果网络中几乎任何地方存在的具有因果关系的隐藏变量(例如,它们可以是观测变量的效应)。通过研究秩与条件独立性的有效性,我们在理论上建立了某些潜在结构模式可辨识性的必要和 - 一类特定稀疏正定矩阵的精确行列式
基于稀疏高斯图模型,我们提供了协方差矩阵行列式的闭式解。我们的分析基于模型的局部因子的傅里叶变换,得到了应用矩阵行列式引理在变换后的图模型上的闭式表达式。在此背景下,我们还定义了两个高斯图模型之间的等价概念。
- 高斯过程模型的可辨识性和可解释性研究
本文对使用 Matern 核的加法混合在单输出高斯过程模型中的常见做法进行了批判性分析,并研究了 Matern 核的乘法混合在多输出高斯过程模型中的特性。通过一系列理论结果,我们推导出对于单输出情况,Matern 核的平滑性由最不平滑的成分 - 有形状变形器:无限深度和宽度限制下的注意力模型
在深度学习理论中,表示的协方差矩阵被用作检查网络可训练性的代理,因此我们对具有跳过连接的修改 Softmax-based 注意力模型的协方差矩阵进行研究,发现在初始化时极限分布可以由深度到宽度比率索引的随机微分方程 (SDE) 描述,我们改 - 对于复高斯扰动的私有协方差近似和特征值间隙边界
本文提出并研究了高斯机制的一种复杂变体,通过使用该变体输出的矩阵与 $M$ 的最佳秩 - k 近似之间的 Frobenius 范数之差被限制在大约 $\tilde {O}({\sqrt {kd}})$,这可以改善先前的工作,前者需要每对 $ - 复杂数据集的基础缩放规律和普适性统计结构
本文使用统计物理学和随机矩阵理论,探究出现在真实和人造数据集中的普遍特征,发现特征 - 特征协方差矩阵的本地和全局特征值在数据规模方面存在着重要差异,而 Shannon 熵则与局部 RMT 结构和特征值尺度有关,并且与强相关数据集相比于无相 - 学习有界协方差高斯混合模型的 SQ 下界
本论文研究了学习具有相同未知有界协方差矩阵的分离高斯混合模型的复杂性,证明了该问题的任何统计查询算法至少需要 d 的阶次 1/ε 的复杂度,这为已知算法的最佳性提供了证据。
- 在线机器学习用于顺序数据同化的预测不确定性估计
本研究提出一种基于卷积神经网络的机器学习方法,利用单个动力学模型集成来对表示预测误差协方差矩阵的状态相关预测不确定性进行估计,并在杂交数据同化方法中进行性能测试,证明该方法能够相对精确地预测高维状态中的预测协方差矩阵值。
- CVPR学习基于偏相关的深度视觉表征,用于图像分类
本研究通过将 SICE 算法作为 CNN 的一个新型结构层,实现了利用偏相关方法构建图像的特征矩阵。与协方差矩阵比较,基于偏相关的图像特征矩阵可以更好地改善样本量小的问题,并在分类任务中获得优异的性能表现。
- 理解卷积滤波器的协方差结构
通过研究学习卷积核的协方差,提出了一种针对卷积滤波器的学习自由的多元初始化方案,该方案的性能优于传统的随机初始化方法,并且在某些情况下,即使不训练深度卷积滤波器,也可以提高性能。
- 优化的人工神经网络和大脑中不同的光谱表征
本论文研究了如何通过修改人工神经网络 (ANN) 的谱特性来提高其识别准确率和对抗攻击的鲁棒性,发现对于密集型网络来说,较大的幂次方(大约为 2-3)可提高验证准确度和对抗性鲁棒性。
- 神经协方差 SDE:初始化时形态无限深度和宽度的网络
本文研究了前馈神经网络初始化时 logit 输出在上一个层定义的随机协方差矩阵下的条件高斯分布,探讨了这个矩阵的分布、激活函数的精确扩展、随机微分方程的控制以及基于激活函数的权重矩阵的状况。
- AAAI通过推理想象:一种基于推理的隐式语义数据增强方法,用于长尾分类
本文提出了一种新颖的基于推理的隐性语义数据增广方法来缓解长尾分布数据分类算法性能下降的问题,并通过构建协方差矩阵和知识图谱,从相似类别中采样新方向来生成新的样本实例,从而适应性增强长尾数据,实验证明该方法有效。
- CVPR大规模图像分类中相关的输入相关标签噪音
提出一种基于概率模型的方法来对大规模图像分类数据集中的标签噪声进行建模并进行准确性优化,该方法通过在神经网络分类器的最终隐藏层上放置多变量正态分布的潜在变量来建立噪声的协方差矩阵,并且在多个基准测试数据集上表现出显著提高的准确性。
- CVPR通过传播协方差简化认证半径最大化
本文探讨了通过直接传播平滑分类器中的协方差矩阵来缓解蒙特卡罗采样的瓶颈问题,提出了一种可以最大化神经网络认证半径的算法,并在实验中评估了该算法的优缺点。
- 具有相关条目的高斯矩阵的谱范数
本研究使用联合高斯分布探讨矩阵的谱范数和协方差矩阵之间的关系,提出了一个非渐近限制,可以去除非交换 Khintchine 不等式中的 log 项的限制。
- 线性回报的双重稳健的汤普森抽样
本文提出一种名为 DR Thompson Sampling 的多臂上下文赌博算法,并利用缺失数据文献中使用的双重稳健估计器提供先验概率在最坏情况下的保证率和次均方误差,具体表现为对因变量和全部或几个自变量进行回归的误差。他们发现该方法在实践