- 学习等变张量函数及其在稀疏向量恢复中的应用
通过表征多元张量输入和张量输出的等变多项式函数,本文描述了不变函数。我们将注意力集中在关于正交群对张量的对角作用的等变函数上,并展示了如何将这种表征推广到包括洛伦兹群和辛群在内的其他线性代数群。我们的目标是定义等变机器学习模型,特别是关注稀 - 神经积分方程的频谱方法
神经积分方程是基于积分方程理论的深度学习模型,该模型由积分算子和相应的方程(第二类)组成,通过优化过程学习。本文介绍了一种基于谱方法的神经积分方程框架,可以在谱域中学习运算符,从而降低计算成本,并具有高插值精度。我们研究了该方法的性质,并展 - 具有可转移图自编码器的网络对齐
网络对齐是在不同图形之间建立一对一对应关系的任务,我们提出了一种新颖的广义图自编码器架构,旨在提取强大且鲁棒的节点嵌入,以实现更准确的对齐,并证明生成的嵌入与图的特征值和特征向量相关联,可以与传统谱方法相比实现更准确的对齐。我们的框架还利用 - 结构化广义线性模型的谱估计器在近似传递消息中的应用
通过简化的特征值估计方法和相关的高斯设计,文章研究了参数估计问题,通过对数据进行合理预处理来最小化所需样本数量,并且开发了一个基于近似传递消息算法的策略来解决相关高斯设计中旋转不变性假设不成立的难题。
- 谱图神经网络调研
本文总结了谱图神经网络的最新发展,包括模型、理论和应用等方面的内容,其中介绍了谱性 GNN 能够捕捉全局信息,并具有更好的可表达性和可解释性。通过对现有谱性 GNN 的分析,本文梳理了主要理论结果和应用,最后进行了定量实验来评估几种常见的谱 - ICLR强化学习的谱分解表示
本文提出了一种名为 SPEDER 的替代谱方法,它从动态中提取状态 - 动作抽象,同时平衡学习过程中的探索与利用,并在在线和离线设置中证明了其样本效率及在多项基准测试中的优越性能。
- MM小的随机初始化类似于谱学习:超参数低秩矩阵重建的优化和泛化保证
本文针对超参数模型上的梯度下降进行了研究,证明小随机初始化后的梯度下降与受欢迎的谱方法相似,并且可以在全局最优解附近泛化良好。具体而言,对于通过自然的非凸公式重构低秩矩阵的问题,我们证明了梯度下降迭代的轨迹可以近似分解为三个阶段。
- 数据科学的谱方法:统计学视角
使用特征谱方法从现代统计的角度系统、全面且易于访问地介绍了一类从数据中构建矩阵,然后使用上述矩阵的特征向量(Singular vectors)和特征值(Singular values)进行数据分析的方法。特别地,我们围绕着多个中心问题来阐述 - 基于谱方法的正交和置换群同步的近优性能界
研究正交群同步和置换群同步的谱方法的性能保证,通过研究计算出的特征向量如何逐个逼近每个群元素来建立理论,并且在正交群同步和置换群同步下,我们得出了性能界限和性能界限的结果,进行了数值实验来验证我们的理论。
- 使用热核实现的图卷积网络半监督学习
本文介绍了一种名为 GraphHeat 的方法用于对图结构数据进行半监督学习,并且能够在 Cora、Citeseer 和 Pubmed 数据集上取得最新颖的结果。
- 矩阵和张量的谱学习
该研究论文介绍了基于张量分解方法的高阶时刻谱方法及其计算技术,也提出了一个名为 Tensorly 的 Python 数组操作工具, 具有良好的灵活性和兼容性,能够与多种深度学习框架结合使用来学习广泛的潜在变量模型。
- 扩散改善图学习
本文提出了一种名为 GDC 的基于图扩散的图卷积方法,与传统的基于直接邻接节点的图卷积方法相比,它可以处理真实图中任意定义边界带来的噪点问题,并在各种图神经网络和其他基于图的算法中取得了显著的性能提升,同时不需要改变原算法的计算复杂度。
- NIPS分层矩方法
论文介绍了基于谱方法模型参数学习的强大工具,并提出了一种分层方法去解决模型错误建模的鲁棒性问题。我们用近似的联合对角化取代以前算法中使用的张量分解步骤,并在主题建模实验中表明,我们的方法在速度和模型质量方面优于以前的张量分解方法。
- 关于随机块模型图的谱嵌入性能和揭示网络结构
本文分析 Laplacian 和 adjacency 频谱嵌入在随机块模型图中块分配恢复方面的相对性能,并研究了嵌入性能与底层网络结构之间的关系,结果表明 Laplacian spectral embedding 更适用于相对稀疏的图,而 - 谱方法用于图浓度估计的收敛速率
本研究分析了一种称为通用奇异值阈值(USVT)算法的谱方法在估计 Graphon 模型中的应用,证明了其误差速率在某些情况下可以达到最小值,但在某些情况下误差较大,与社区检测的计算难度相一致。
- 张量补全的谱算法
该研究提出了基于展开的新方法,其中一个应用是特征空间估计。研究者针对张量完成问题,提出了两种方法,一种是采用 SOS 方法,但不适合处理大规模问题;另一种是采用展开或者矩阵分解方法,在解决三阶张量问题时性能和 SOS 方法相当。
- NIPS通过连续矩阵的谱分解学习非参数排放 HMM
研究使用连续线性代数和数值分析的计算方法,采用非参数模型来推断连续发射密度,以实现对隐马尔可夫模型的估计,证明了计算方法的有效性和可行性,并探讨了其样本复杂度和连续矩阵的扰动等问题。
- ACL优化谱学习以进行语法分析
本文研究了使用谱方法来估计潜在变量 PCFGs 时优化潜在状态数量的搜索算法,结果表明,全局优化每个非终结符的潜在状态数量并考虑不同非终结符之间的交互对语法分析有明显改进作用,并在 8 种形态丰富的语言中的实证分析表明,该估计方法通常比粗到 - 多聚类随机块模型中的检测:实现猜想的证明,无环 BP 和信息计算差距
该论文证明了随机块模型的一个猜想,提出了一种非对称的社区检测算法,并将其与信念传播和谱方法联系起来,同时展示了信息论计算差距在其中的应用。
- 标记随机块模型中的最优簇恢复
本文针对标记随机块模型中的社群检测或聚类问题研究了一种基于谱方法的算法,通过观察随机标签,找到至多 s 个错误分类项的聚类算法,并给出了该算法的时间复杂度为 O (npolylog (n))。