本研究提供了神经场的数学基础和文献综述,包括不同表征方式、结构、前向传递和推广方法,介绍了神经场在视觉计算和其他领域(例如机器人,音频)中的应用,证明了这种方法所带来的质量改善、灵活性和能力提高。
Nov, 2021
通过对「边缘混沌」的理论分析,研究了深度神经网络中各参数的选取对模型训练加速和性能提升的影响。
Feb, 2019
神经场是一种有望替代传统的离散向量或基于网格的表示方法的信号表示方法,通过神经网络将信号表示为一个函数的参数化形式。相比离散表示方法,神经表示方法在分辨率增加时具有更好的可扩展性,是连续的,而且可以多次可微。然而,对于我们想要表示的信号数据集,为每个信号优化一个单独的神经场效率低下,并且无法利用信号之间的共享信息或结构。现有的泛化方法将其视为元学习问题,并使用基于梯度的元学习来学习初始化,然后通过测试时优化进行微调,或者学习超网络来产生神经场的权重。我们提出了一种新的范式,将神经表示的大规模训练视为部分观测神经过程框架的一部分,并利用神经过程算法来解决这个任务。我们证明了这种方法优于最先进的基于梯度的元学习方法和超网络方法。
Sep, 2023
本文通过一项涵盖 400 种激活函数的大规模调查,提供了先前已发表的激活函数的最全面概述和系统化,并为当前对该函数族的理解进行更新。
Feb, 2024
通过研究数据变换对神经场训练速度的影响,特别关注像素位置置换如何影响 SGD 的收敛速度,我们发现随机置换像素位置可以显著加快训练速度。分析表明,随机像素置换消除了易拟合的模式,促进了早期的优化,但阻碍了细节的捕捉。
Nov, 2023
本章介绍了一种神经科学方法 ——Activation Maximization(AM),利用机器学习技术综合推理神经元的首选刺激,以大力激发人造或生物大脑中的单个细胞或细胞组,并讨论了现有 AM 技术的概率解释和其在网络调试和解释方面的应用。
Apr, 2019
介绍了人工神经网络中激活函数的主要概念及其作用,讨论了各种激活函数类型、应用、限制和替代方案。
Apr, 2022
这篇文章探讨从神经科学角度出发,在进行机器学习的探索性研究时,通过指定研究目标且明确探针设计的方向和表现性来实现对于感兴趣特征激活模式的监督模型
Apr, 2021
深度神经网络的功能结构通过功能神经影像学的技术得到了探测。确定的功能网络可以用于模型对齐、模型输出的调节以及在微调中确定权重。
本文考虑在神经科学和机器学习之间建立联系,提出脑部通过优化各式各样的代价函数来实现数据高效学习和定向行为,其中包括关注、递归等结构体系和各种形式的短时和长时记忆存储,作者提出了未来神经科学试图改进和检验这些假设的方向。
Jun, 2016