Mar, 2024

D'OH：仅解码的随机超网络用于隐式神经表示

PDF
TL;DR通过运行时解码器的超网络 (D'OH) 在单个实例信号中初始化深度隐式函数的策略，提供了一种自然的方法来改变神经表示的内存占用，而无需在备选低速率结构空间上进行昂贵的神经架构搜索。
deep implicit functionscompressioncross-layer parameter redundancyhypernetworkneural architecture
发现论文，激发创造
  • 深度解码器：从未经过训练的非卷积网络中提取简明图像表征

    本研究提出了一种未训练的简单图像模型 —— 深度解码器，它能够从非常少的权重参数生成自然图像，可以达到基于小波的阈值处理的效果，并且可以避免过拟合问题。此外，该模型简单且易于理论分析，为深度神经网络生成信号的有效表示提供了启示。

    Oct, 2018

  • 一种用于非对齐观测数据的混合解码器 - DeepONet 算子回归框架

    通过引入混合解码器 - DeepONet 操作器回归框架和多解码器 - DeepONet，本研究提出了一种处理不对齐数据的有效方法，验证了其在提高预测准确性方面的优势。

    Aug, 2023

  • 通过专家混合训练构建神经隐式字典

    该研究论文提出了一种能够通过基于坐标的子网络来构建神经隐式词典 (NID) 并代表内在神经表征的框架，通过优化结果能够更快地重建 2D/3D 图像并解决遮挡问题。

    Jul, 2022

  • DeepONet：基于算子的普适逼近定理学习非线性算子用于鉴别微分方程

    神经网络具有普适逼近能力，使用一层隐藏层即可精确逼近任何非线性连续算子，但需要 DeepONet 结构通过降低泛化误差以实现其潜力应用。

    Oct, 2019

  • 用于学习可组合的三维物体表示的高阶函数网络

    通过神经网络将几何结构编码到权重和偏置中，通过映射网络重构对象，可在 7000 参数的情况下达到与百万参数状态下的最新型物体解码器架构同等甚至更高的精度。

    Jul, 2019

  • HyperDeepONet：通过超网络利用有限资源学习复数目标函数空间中的算子

    提出了一种使用超网络的方法，即 HyperDeepONet，通过较少的参数来学习复杂操作符，并成功地在较少的计算资源下学习各种操作符，并具有实时预测的能力。

    Dec, 2023

  • HiDDeN: 使用深度网络隐藏数据

    文中讨论深度神经网络的鲁棒性，探索使用对抗干扰来做数据隐藏的可行性，并展示了效果竞争力强的编码技术及其在对抗干扰下的鲁棒性的改进方式。

    Jul, 2018

  • 深度神经网络是否具有内在的奥卡姆剃刀原理？

    研究表明，深度神经网络成功的关键在于结构化数据，以及拥有一种像奥卡姆剃刀一般的归纳偏差，使其能够对抗复杂度呈指数级增长的函数，通过引入贝叶斯图像和随机梯度下降等方法，我们试图将网络架构、训练算法和数据结构三个组件相互分离。

    Apr, 2023

  • 在潜在空间中学习提高深度神经算子的预测准确性

    使用深度自编码器识别高维 PDE 输入输出函数的潜在特征表示，可以增强学习，并提高时间依赖型的 PDE 模型的计算精度和效率。

    Apr, 2023

  • 大深度网络的隐式偏差：非线性函数的秩观念

    研究表明，完全连接的神经网络在非线性齐次时的表示成本收敛于非线性函数的排序上，然后研究了何时可以恢复数据的 “真实” 排名，最后发现自编码器具有最优非线性排名是自然的去噪声的。

    Sep, 2022