- 使用优化效率和最小延迟的通用脉冲神经网络训练
提出了一个通用的训练框架,提高了有限时间步长内特征学习和激活效率,为更节能的 SNN 提供了新的解决方案。
- 关于参数化的二阶优化方法适用于无限宽度
通过提出一种特定的参数化方式,我们通过一步更新梯度和合适的超参数尺度来提高特征学习的鲁棒性,从而在大规模模型中加速深度神经网络的训练,并实现了更高的泛化性能。
- 利用反向对齐特征更新引导深度特征学习
通过研究深度学习和超参数对特征学习的影响,本文提出了特征更新与反向传播之间的对齐概念,并研究了随机初始化下的对齐、ReLU MLPs 和 ResNets 的特性。
- 多层次显著性引导的自监督学习在图像异常检测中的应用
本研究提出了一种利用显著性引导来增强语义线索进行图像数据异常检测的方法,并通过交换像素对的位置生成逼真的负样本,以提供高质量特征学习的性能。
- 使用三层神经网络学习分层多项式
我们研究了使用三层神经网络学习标准高斯分布上的层级多项式的问题。我们的主要结论是,在大部分度为 k 的多项式 p 的子类中,通过逐层梯度下降在平方损失上训练的三层神经网络可以在约 d^k 个样本和多项式时间内学习到具有崩溃测试误差的目标 h - 为语音合成编码特定讲话者的潜在语音特征
提出了一种用于建模众多发言人的新方法,并通过对特征进行离散化和将其与语音合成模型相结合来表示目标发言人的语音特征。该方法在主观相似性评估中获得了较高的相似度平均意见分数(SMOS),甚至对于未见过的发言人,其性能优于最佳多发言人模型的已见发 - 多物体跟踪的单目和多目特征学习
本文提出了一种简单而有效的两阶段特征学习模型,以共同学习不同目标的单帧特征和多帧特征,从而在跟踪过程中实现鲁棒的数据关联。通过引入单帧特征学习模块和多帧特征学习模块,可以有效地关联相邻帧之间的目标和长时间丢失的目标。通过简单的数据关联逻辑, - 通过梯度流学习高斯多指标模型
通过对高维高斯数据的多指数回归问题进行梯度流研究,我们提出了一种两时间尺度算法,该算法以非参数模型学习低维关联函数,实现了全局收敛性,并给出了与其关联的 “鞍点到鞍点” 动力学的定量描述。
- 特征学习的光谱条件
通过扩大神经网络的规模进行特征学习,我们展示了通过标度化权重矩阵和它们的更新的谱范数来实现特征学习,这是与根据 Frobenius 范数和条目大小进行启发式标度化方法相反的,同时我们的谱标度分析还导致了对最大更新参数化的基本推导,总之,我们 - 神经网络通过梯度特征学习的可证实保证
神经网络理论分析不足,该研究提出了一个基于梯度的特征学习分析框架,应用于混合高斯函数和奇偶函数等问题,并揭示了网络学习现象与特征学习的关系。
- 两层神经网络中一次梯度步骤的非线性特征学习理论
通过分析两层全连接神经网络中梯度下降和岭回归的步骤,证明采用学习率随样本大小增长的训练方法可以引入多个一阶秩分量,分别对应特定的多项式特征,进而改善神经网络的学习效果。
- 从惰性训练动态到丰富训练动态的领悟
神经网络在从懒散训练动力学过渡到强大的特征学习规则时,产生 ' 领悟现象 ',通过研究多项式回归问题上的两层神经网络,我们发现特征学习速率和初始特征与目标函数的对齐是产生 ' 领悟现象 ' 的关键因素。
- 优秀表示的液滴:在两层网络中领悟为一阶相变
深度神经网络在特征学习方面的能力,特别是与 Grokking 现象相关的阶段转变理论和预测,揭示出在训练过程中学习新特征的机制。
- 神经网络的自适应切线特征视角
为了更好地理解神经网络中的特征学习,我们提出了一个在切线特征空间中理解线性模型的框架,其中特征在训练过程中被允许进行转换。我们考虑特征的线性变换,得到了一个在参数和变换上具有双线性插值约束的联合优化问题。我们证明了这个优化问题等价于一个线性 - ICCV学习像素级视频对应的细粒度特征
通过自我监督学习并结合对真实世界视频和合成视频的特征学习,提出了一种针对像素级对应的特征学习方法,采用对抗性学习方案增强特征的泛化能力,并采用粗到细的框架追求高计算效率,在对应任务上的实验结果表明,该方法在准确度和效率方面均优于现有方法。
- 超越高斯数据的单指数模型
通过研究在浅层神经网络中使用梯度下降方法的稀疏高维函数,展示了它们在线性模型之外进行特征学习的能力。本研究扩展了这一框架,探索了高斯设置以外的情景,并通过假设在高维情形下可以有效地恢复未知方向。
- MM过参数化卷积神经网络中的特征学习机制:局部核归一化
深度神经网络具有自动从原始数据中学习相关特征的能力,但完全连接(FC)和卷积架构(CNN)中的特征学习方式不同。本研究通过理论和实验证明了有限宽度 FC 网络的泛化性能可以通过选择适当的高斯先验来获得无限宽度网络的结果,而具有卷积隐藏层的架 - 基于双层 ReLU 神经网络的可证明多任务表示学习
通过简单的梯度下降学习算法,在二层 ReLU 神经网络中进行多任务学习,可证明在多任务学习中也发生了特征学习。
- 无需跨摄像机成对样本的领域自适应人物再识别
提出了一种新颖的领域自适应人员重识别方法,旨在通过无配对样本的监督实现跨摄像头的连续辨别特征学习,并利用跨摄像头相似样本解决跨区域行人身份匹配的挑战。
- 图神经网络从结构信息中可得证明的益处:视作特征学习角度
本研究旨在通过研究梯度下降训练中神经网络中的特征学习理论中图卷积的作用,提供了两层图卷积网络与两层卷积神经网络之间的信号学习和噪声记忆的不同表征,发现图卷积显着增强了对手 CNN 的良性过拟合的范围,并且在梯度下降训练后, GNNs 和 M