本文提出了一种利用二阶优化方法显著减少坐标网络训练时间并维护其可压缩性的解决方案，并在各种信号模态（如音频、图像、视频、形状重构和神经辐射场）上证明了其有效性。

May, 2023

本文提出了一种利用元学习思想和网络压缩技术相结合的方法，以达到在大量数据集上学习稀疏神经表达的目的，并表明与传统的密集神经网络相比，本方法在相同的参数规模下，能够更快地适应一系列未知信号从而使损失更小。

Oct, 2021

提出一种新的混合隐式 - 显式网络架构和训练策略，采用多尺度块坐标分解，并在训练期间自适应分配资源，以适应信号的本地复杂性，可成功将吉卜赛像素图像提高至接近 40dB 峰值信噪比，以及比以前技术更快，更好地表示 3D 形状。

May, 2021

神经场是一种有望替代传统的离散向量或基于网格的表示方法的信号表示方法，通过神经网络将信号表示为一个函数的参数化形式。相比离散表示方法，神经表示方法在分辨率增加时具有更好的可扩展性，是连续的，而且可以多次可微。然而，对于我们想要表示的信号数据集，为每个信号优化一个单独的神经场效率低下，并且无法利用信号之间的共享信息或结构。现有的泛化方法将其视为元学习问题，并使用基于梯度的元学习来学习初始化，然后通过测试时优化进行微调，或者学习超网络来产生神经场的权重。我们提出了一种新的范式，将神经表示的大规模训练视为部分观测神经过程框架的一部分，并利用神经过程算法来解决这个任务。我们证明了这种方法优于最先进的基于梯度的元学习方法和超网络方法。

Sep, 2023

学习神经隐式表示的研究取得了巨大的进展，该研究介绍了使用量化的坐标来减少优化过程中的不确定性和歧义，通过体渲染使用离散坐标和其位置编码来学习隐式函数，从而在多个视图的光线交汇点上触发更多的多视点一致性约束，提高了推断隐式函数的效率。

Aug, 2023

我们介绍了两组新的初始化方法：第一组是通过应用变分自动编码器来局部初始化权重组，第二组是通过应用图形超网络来全局初始化完整的权重集合。我们通过在精度、收敛速度和集成方面对采用的生成模型对最先进的神经网络进行了彻底的评估。结果表明，全局初始化导致更高的准确性和更快的初始收敛速度，然而通过图形超网络实现的方式会降低对于超出分布数据的集成性能。为了弥补这个问题，我们提出了一种叫噪声图形超网络的修改方法，鼓励在生成的集成成员中产生多样性。此外，我们的方法可能能够将学到的知识传递给不同的图像分布。我们的工作提供了对于这些新的初始化方法的潜力、权衡和可能修改的见解。

Oct, 2023

使用一阶优化方法训练神经网络是深度学习实验成功的核心。在小的初始化下，训练动力学的早期阶段会导致神经元朝关键方向对齐，从而引发网络的稀疏表示，这与渐近梯度流的隐式偏差相关。然而，这种稀疏诱导的对齐会导致在最小化训练目标上面临困难，我们还提供了一个简单的数据示例，说明过度参数化的网络无法收敛到全局极小值点，而只能收敛到一个虚假的稳定点。

Jan, 2024

通过提出的梯度 - free 的 Coordinate Search (CS) 算法，本文介绍了一种适用于神经网络的训练方法，该方法能够应用于非可微激活函数和多目标 / 多损失问题，并具有较高的收敛速度。

Feb, 2024

该研究提出了一种快速、简单的数据依赖初始化过程，可避免幻灭或爆炸梯度，并能够与当前领先的无监督或自监督预训练方法相匹配，同时比前人的方法快大约三个数量级，当与预训练方法结合时，可以显著优于先前的工作，在监督和无监督预训练之间缩小差距。

Nov, 2015

我们提出了一种利用坐标网络和多分辨率哈希编码对体积数据进行压缩和表示的高效方法，通过学习空间坐标和强度值之间的映射，实现有效的压缩，比较了不同编码方案，并展示了多分辨率哈希编码在压缩质量和训练效率方面的优越性，同时借助优化型元学习，特别是使用 Reptile 算法，学习适用于体积数据的神经表示的权重初始化，从而在优化过程中实现更快的收敛，此外，我们与最先进的方法进行比较，展示了改进的图像质量和压缩比，这些发现突显了利用基于坐标的网络和多分辨率哈希编码进行高效准确的体积数据表示的潜力，为大规模数据可视化和其他应用的进展铺平了道路。

Jan, 2024