- CEST-KAN: 库尔莫戈洛夫 - 阿诺德网络用于 CEST 磁共振成像数据分析
本研究首次证明了使用 Kolmogorov-Arnold Network (KAN) 对 CEST MRI 数据进行分析的可行性,并强调其在这一任务中的优越性,结果表明 CEST-KAN 有潜力成为临床设置中 CEST MRI 数据的强大可 - 图知识蒸馏到专家混合
通过使用一种特殊设计的学生模型(Routing-by-Memory)来解决节点分类任务中的性能问题,该模型是一种专家混合(Mixture-of-Experts),通过鼓励每个专家在隐藏表示空间的某个特定区域进行专门化,实验证明可以在多个数据 - BlockPruner:大型语言模型的细粒度剪枝
我们提出了一种名为 BlockPruner 的新型无需训练的结构化修剪方法,通过定位多头注意力和多层感知机块中的冗余实现更精细的修剪,实验证明,与现有方法相比,BlockPruner 在各种下游任务中实现了更精确和有效的修剪。
- 侧化 MLP:扩散的简单脑启发架构
基于大脑侧化的灵感,我们提出了一种简单而有效的架构 L-MLP,它基于多层感知器并在处理数据维度时进行排列、并行处理和合并,通过连接的 MLP 传递。我们发现这种设计优于其他 MLP 变体,在挑战性的扩散任务中与基于 Transformer - 平滑的科尔莫戈洛夫・阿诺德网络启用结构知识表征
研究使用具有固定网络拓扑结构的 Kolmogorov-Arnold 网络(KAN)作为传统多层感知器(MLP)架构的高效可解释替代方法,探讨了 KAN 中平滑性的相关性,并提出了在特定函数类中,具有平滑且结构知情的 KAN 可以达到与 ML - 用神经网络将天气预报分解为平流和对流
使用图注意力网络和多层感知器,我们提出了一个简单而有效的机器学习模型,可以分别学习动力核心中的水平运动和物理参数化中的垂直运动,以提高全球天气预报的准确性和效率。
- 奥恩斯坦 - 乌伦贝克过程参数估计的传统与深度学习方法的比较
我们使用多层感知器 (MLP) 来估计 OU 过程的参数,并将其性能与传统参数估计方法(如卡尔曼滤波器和极大似然估计)进行比较,发现在大型观测轨迹数据集上,MLP 可以准确估计 OU 过程的参数,但传统参数估计方法可能更适用于较小的数据集。
- 预测抑郁和焦虑:分析 COVID-19 对心理健康的影响的多层感知器
使用名为 COVID-19 抑郁焦虑预测器(CoDAP)的多层感知器(MLP),跟踪了一组美国成年人在 COVID-19 大流行初期(2020 年 4 月至 6 月)十周内的心理健康症状,从而预测了疫情期间焦虑和抑郁模式,并揭示了人口统计因 - HyperPredict:对可变形图像配准中实例特定正则化的超参数效果进行估计
该研究提出了一种名为 HyperPredict 的方法,它使用多层感知器在没有标记数据的情况下评估超参数的影响并选择最佳值,以选择特定图像对的最佳超参数进行注册,该方法在脑部医学影像数据集上表现出良好性能。
- 基于有效的 MLP 点导向分割网络的含模糊边界矿石图像
基于多层感知机的轻量级框架解决矿石图像中模糊边界的问题,通过特征金字塔网络平衡局部和全局信息、设计新的损失函数以达到清晰物体边界,取得了出色的处理速度和精确度。
- 线性变换器块中上下文学习的好处:MLP 组件和一步梯度下降初始化
研究了线性变换器块(LTB)的上下文学习(ICL)能力,证明了 LTB 可以实现几乎贝叶斯最优的 ICL 风险,并且通过多层感知器(MLP)层减小了近似误差。
- 非厄米拓电路设计的深度学习
利用深度学习中的多层感知器、卷积神经网络等算法,预测特征非厄米哈密顿量的本征值。使用高维电路数据特征构建非厄米拓扑舱数据,采用 DenseNet 算法来处理高维数据,有效地捕获训练数据中非厄米系统的全局拓扑特征。
- PirateNets:基于残差自适应网络的物理驱动深度学习
该研究针对物理信息神经网络(PINNs)在使用大型深度神经网络架构处理偏微分方程(PDE)驱动的正向和反向问题时性能下降的问题进行了研究,发现这种行为的根源是采用了不适合的初始化方案,导致网络对导数的训练能力较差,最终导致 PDE 残差损失 - 使用傅立叶基数重新参数化训练改进的神经表征
利用傅里叶参数化方法可以更好地学习隐式神经表示并减少人工数据中的纹理和伪影
- AAAI基于神经辐射场的基于物理的光谱渲染
提出一种基于 SpectralNeRF 的光谱透视的高质量物理渲染方法,通过修改经典的光谱渲染为两个主要步骤,即生成一系列不同波长的光谱图并将其组合为 RGB 输出,通过提出的多层感知机 (SpectralMLP) 和光谱注意力 UNet - 重审持续表示学习的监督
通过研究发现,在连续学习中,通过在监督模式和自监督模式下使用多层感知器,监督模式能够在连续表示学习方面优于自监督模式。
- CycleIK:神经启发的逆运动学
介绍了 CycleIK,一种神经机器人学方法,它包含了两个新颖的神经启发式反运动学方法:生成对抗网络(GAN)和多层感知机架构。研究中展示了如何将这些方法嵌入混合神经遗传反运动学流水线中,通过顺序最小二乘规划或遗传算法进行进一步的优化。该成 - 基于长程依赖的异构信息网络多层感知器
该文提出了一种基于长距离依赖的多层感知机模型,通过使用自动化的搜索方法发现有效的元路径,从而解决了现有异构图神经网络模型在处理稀疏异构信息网络时计算和存储开销过高的问题,并且在相应的异构数据集上取得了当时最好的性能和高效性。
- X-MLP: 一个无需 Patch 嵌入的 MLP 视觉架构
提出一种基于全连接层的 MLP 体系结构 X-MLP,比现有的 MLP 模型和 CNNs 略表现更好,在多个基准数据集上进行了测试,具有捕捉长距离依赖性的特点。
- 扩展 MLPs: 归纳偏差的故事
本研究重新探讨了深度学习最基本的构架之一 —— 多层感知机(MLP)在视觉任务中的性能极限,重点研究了不同规模下的预训练对于 MLP 性能的影响,揭示了缺乏归纳偏差时尺度扩展对于性能表现的提升。