Jun, 2024

深度神经网络在神经影像学中的群体训练动态的光谱分析

PDF
TL;DR通过梯度计算的奇异值分解，我们提出了一种基于神经影像数据的深度学习自省框架，可以实时研究训练动态并分解梯度，进而揭示研究强迫症与对照组之间常见深度学习模型的差异，用于进一步的分析。
neural networksintrospection frameworkneuroimaginggradient computationstraining dynamics
发现论文，激发创造
  • 自监督神经网络用于光谱瞬间压缩成像

    本文提出了一种结合 DIP 的插入式自监督网络框架，使用未经训练的神经网络解决了快照压缩成像的光谱重建问题，实验证明该算法可以在不使用大量模拟数据的情况下取得与基于训练的网络相媲美的性能，并可与预训练的深度去噪先验结合以获得最先进的结果。

    Aug, 2021

  • 深度学习谱偏差研究

    论文通过与神经切向核函数的关联性进行解释，给出了关于神经网络中谱偏置的全面而严格的解释，并证明了神经网络的训练过程可以沿神经切向核的不同方向分解，每个方向都有自己的收敛率，而该收敛率由相应的特征值确定。

    Dec, 2019

  • 谱推断网络：统一深层学习和谱学习

    本文提出了一种称为 Spectral Inference Networks 的框架，通过随机优化来学习线性算子的特征函数，可以成为从视频或基于图的数据中进行无监督表示学习的强有力工具。我们将训练 Spectral Inference Networks 视为一个双层优化问题，并展示了它在量子力学和合成数据集上的应用，在完全无监督的情况下从视频中准确恢复线性算子的特征函数并发现可解释的表示。

    Jun, 2018

  • 时频分析下基于 SPD 流形的图神经网络在运动想象分类中的应用

    介绍了一种名为 Graph-CSPNet 的基于图的技术，结合时频分析的基本视角，用于 MI-EEG 分类。与 Tensor-CSPNet 不同，该方法在 MI-EEG 分类方面实现了更好的结果。

    Oct, 2022

  • 神经预测与对齐的谱理论

    使用最新的理论框架，测试了大量预测视觉皮层活动的深度神经网络，并展示了多种几何特性导致通过回归测量的低神经预测误差，从而证明了仔细分解表征度量可以解释模型如何捕捉神经活动，并指导神经活动的改进模型。

    Sep, 2023

  • 神经积分方程的频谱方法

    神经积分方程是基于积分方程理论的深度学习模型，该模型由积分算子和相应的方程（第二类）组成，通过优化过程学习。本文介绍了一种基于谱方法的神经积分方程框架，可以在谱域中学习运算符，从而降低计算成本，并具有高插值精度。我们研究了该方法的性质，并展示了关于模型逼近能力和数值方法收敛性的各种理论保证。我们提供了数值实验，以证明所得模型的实际有效性。

    Dec, 2023

  • 深度学习光谱中弥漫着类别 / 跨类别结构的痕迹

    研究应用实证频谱分析于现代深度学习分类器，展示其在深度网络频谱中的重要形式类 / 跨类结构及其特征，包括频谱异常值、突起和小但清晰的连续分布，介绍跨类结构的重要性，并证明多项式逻辑回归中，Fisher 信息矩阵频谱中异常值与主体审查的比例预测了误分类，在深度上，网络能够在将类别区分信息正交化的同时，逐渐分离类别特定信息，并提出了 KFAC 的校正。

    Aug, 2020

  • 内省学习：神经网络推理的二阶段方法

    本文提出了一种神经网络决策过程的两个阶段，分别是前向推理和反思阶段，这两个阶段共同构成了内省学习。我们使用训练好的神经网络梯度来衡量内省反思的程度，并使用多层感知器对反思结果进行预测。我们发现内省网络的鲁棒性更强，在处理嘈杂数据和需要泛化和校准的场景中表现更好。

    Sep, 2022

  • 基于图结构数据的深度卷积网络

    本文介绍了一种将谱网络与图估计过程相结合的方法，用于构建小学习复杂度和处理没有强规律的领域的深层神经网络，并在大规模分类问题中测试并达到更好的性能。

    Jun, 2015

  • 逆问题的深度分解学习

    本文提出一种通过 Range-Nullspace 分解的深度学习框架，为解决逆成像问题提供了一种新的范式。通过对数据空间进行分解，模型获得了更多的物理信息，可以有效提高神经网络的学习性能和实际表现。实验结果表明，该框架在压缩感知医学成像和自然图像超分辨率等任务中均具有优异的性能表现。

    Nov, 2019