曲率感知坐标网络的训练
提出一种新的混合隐式 - 显式网络架构和训练策略,采用多尺度块坐标分解,并在训练期间自适应分配资源,以适应信号的本地复杂性,可成功将吉卜赛像素图像提高至接近 40dB 峰值信噪比,以及比以前技术更快,更好地表示 3D 形状。
May, 2021
通过元学习算法学习基于底层信号类别的全连接网络的初始权重参数以进行优化,此方法可以加速收敛且在只有给定信号的部分观测时产生更好的泛化,已在表示 2D 图像、重建 CT 扫描和从 2D 图像观测中恢复 3D 形状和场景等各种任务中获得了探究。
Dec, 2020
我们提出了一种利用坐标网络和多分辨率哈希编码对体积数据进行压缩和表示的高效方法,通过学习空间坐标和强度值之间的映射,实现有效的压缩,比较了不同编码方案,并展示了多分辨率哈希编码在压缩质量和训练效率方面的优越性,同时借助优化型元学习,特别是使用 Reptile 算法,学习适用于体积数据的神经表示的权重初始化,从而在优化过程中实现更快的收敛,此外,我们与最先进的方法进行比较,展示了改进的图像质量和压缩比,这些发现突显了利用基于坐标的网络和多分辨率哈希编码进行高效准确的体积数据表示的潜力,为大规模数据可视化和其他应用的进展铺平了道路。
Jan, 2024
本研究提出一种将多平面表达与基于坐标的网络协同整合的方法,在处理稀疏输入的静态和动态神经辐射场时,实现了与显式编码相媲美的效果,且参数更少。
May, 2024
本文提出一种新颖的卷积神经网络(CNN)类,它利用二阶统计量,可以形成协方差描述符单元(CDU),可以替代标准 CNN 的全连接层,并在参数少至 90%的情况下优于一阶 CNN。
Mar, 2017
本文提出了使用次优化方法的替代方法,以解决深度神经网络的大规模分布式训练中可能出现的泛化差距问题,同时在基准测试中,我们的方法能够在更短的迭代次数内,就实现与一阶方法相当的泛化能力,并能够处理更大的 mini-batch。
Nov, 2018
通过神经网络将几何结构编码到权重和偏置中,通过映射网络重构对象,可在 7000 参数的情况下达到与百万参数状态下的最新型物体解码器架构同等甚至更高的精度。
Jul, 2019
本文提出了一种凸二元框架用于优化神经网络,从而解决了其在敏感应用如医学成像中的非凸和不透明性质的问题。该凸对偶网络不仅能够通过凸优化器获得最优训练,还有利于训练和预测的解释,特别是通过权重衰减正则化训练神经网络,诱导路径稀疏性的同时,预测是分段线性滤波。实验结果表明,该凸对偶网络优化问题在 MNIST 和 fastMRI 数据集上有效。
Dec, 2020
本篇论文通过坐标转换问题展示了卷积神经网络的局限性,提出了 CoordConv 解决方案,它通过在卷积中引入额外的坐标通道,为神经网络提供了输入坐标的信息,从而可以学习任意程度的平移不变性和变化的空间表示。CoordConv 具有比卷积更高效的计算速度和更少的参数,可以有效提高模型的性能。
Jul, 2018