神经重新参数化改善结构优化

Sep, 2019

Neural reparameterization improves structural optimization

Stephan Hoyer, Jascha Sohl-Dickstein, Sam Greydanus

TL;DR本文提出，使用神经网络所引入的函数隐式偏置以改善结构优化的参数化，通过优化神经网络参数来代替在网格上直接优化密度，使得优化结果更为理想，在 116 个结构优化任务中，我们的方法比最佳基线方法更为有效。

Abstract

structural optimization is a popular method for designing objects such as bridge trusses, airplane wings, and optical devices. Unfortunately, the quality of solutions depends heavily on how the problem is parameterized. In this paper, we propose using the implicit bias over functions i

structural optimization parameterization neural networks reparameterization design

发现论文，激发创造

神经网络超参数优化的有效算法

本文中提出了一种基于箱限制数学优化问题的方法，运用光滑径向基函数模型及无导数优化工具去寻找神经网络的最佳参数。该方法是自动的且可有效地搜索参数空间，其应用于药物相互作用的预测中具有良好的效果，并且所用的优化工具是开源的。

May, 2017

重参数化优化器而非架构

本研究通过梯度重新参数化的方法设计了 RepOptimizers 优化器，将模型特定的先验知识融入最优化器中。在 VGG 风格的平面模型上的实验表明，使用 RepOptimizers 的简单模型性能不逊于复杂的设计模型，并且具有更快的推理速度和训练效率。

May, 2022

使用概率建模动态优化神经网络结构

本文提出一种方法在深度神经网络训练期间同时优化网络结构和权重参数的概率分布，可用于解决多种网络结构优化问题，包括层次选择、单元类型选择和连接选择，实验结果表明该方法能够找到适当且具有竞争力的网络结构。

Jan, 2018

基于神经网络的无梯度拓扑优化

通过预训练的神经重参数化策略，在潜在空间中优化设计相对于传统方法而言能减少至少一个数量级的迭代次数，这在拓扑优化中具有重要意义。

Mar, 2024

多尺度拓扑优化使用神经网络

使用神经网络进行直接多尺度拓扑优化的新方法，通过反向均质化来优化每个细胞以实现良好的连接性，持续改善相邻微结构细胞之间的兼容性，实现 n 维多尺度优化问题的 2n 维反向均质化问题。

Apr, 2024

结构灵活的神经网络：为普适智能体进化构建模块

人工神经网络用于强化学习是结构僵化的，参数只能固定在预定义的网络结构中，这限制了在不同环境中优化参数的能力。在本研究中，我们通过演化一组神经元和可塑突触来解决这个问题，展示了通过优化不同的随机结构配置下的神经元的参数，可以解决多个强化学习控制任务。

Apr, 2024

正交过参数化训练

该研究提出了一种新的正交超参数训练 (OPT) 框架，该框架可以证明地最小化描述神经元多样性的超球面能量，通过保持最小超球面能量来提高神经网络的泛化能力。

Apr, 2020

基于训练过的神经网络的优化：放松行走

此研究提出了一种基于全局和局部线性松弛的可扩展启发式方法，用于对训练后的神经网络模型进行建模和求解，具有与最先进的整数线性规划（MILP）求解器和之前的启发式方法相竞争，并且在输入、深度和神经元数量增加时能够产生更好的解。

Jan, 2024

深度神经网络结构设计的优化算法启发

本文提出了一种通过优化算法启发设计深度神经网络结构的方法，研究者们发现，用斜率下降算法替代传统的梯度下降算法有望提高神经网络的速度和性能，并在 CIFAR-10，CIFAR-100 和 ImageNet 数据集上取得了优于 ResNet 和 DenseNet 的结果。

Oct, 2018

分组与混洗：高效结构正交参数化

在本研究中，我们引入了一类新的结构化矩阵，统一并推广了之前工作中的结构化类，以进一步改进参数和计算效率。我们还将这种参数化方法用于修改正交微调框架，在不同领域进行了实证验证，包括文本与图像扩散模型的自适应和语言建模中的下游任务微调。此外，我们还将我们的结构化构造用于正交卷积，并进行了 1-Lipschitz 神经网络的实验。

Jun, 2024