生成流引导的神经架构搜索:探索小波神经算子中的最佳结构
我们提出了一种可变尖峰小波神经运算器 (VS-WNO),旨在消除在力学应用中人工智能算法的理论与实际实现之间的差距。该算法基于尖峰神经网络的原理,具备节省能量的潜力,并能应对力学领域中经常遇到的回归任务。通过与使用泄漏整合和火神经元(直接和编码输入)的小波神经运算器及使用人工神经元的基准小波神经运算器进行对比,实验结果表明了该 VS-WNO 算法在促进稀疏通信的同时能够收敛到真值。
Nov, 2023
本研究引入了神经组合小波神经算子(NCWNO)的概念作为科学计算的基础模型,该模型专为学习各种物理学中的解算符,并能快速适应新的挑战,同时在新的参数化偏微分方程上保持积极的迁移,通过一系列基准测试例子证明了 NCWNO 在预测阶段能够超过特定任务基准的算子学习框架。
Oct, 2023
本文提出了一种基于 GFlowNet 的生成策略来生成对象的方法,该方法将生成过程视为一种流动网络,并将一组轨迹转换为流动,并将流动一致性方程转换为学习目标,以实现训练时的搜索成本,从而提高了性能和多样性。
Jun, 2021
使用深度学习方法研究交通流中非线性双曲型偏微分方程的解决方案,通过训练算子来预测宏观交通状态和密度动态,以及改进冲击预测和物理约束问题。
Aug, 2023
提出了一种新的无监督深度学习方法,即生成对抗小波神经算子(GAWNO),用于多元时间序列过程的故障检测和隔离。该方法结合了小波神经算子和生成对抗网络(GANs)的优势,有效地捕捉底层系统中不同变量的时间分布和空间依赖关系,并通过基于重构误差的阈值方法来检测和隔离故障。通过在正常操作条件下的数据集上训练 GAWNO,并使用 Tennessee Eastman Process(TEP)数据集、Avedore 污水处理厂(WWTP)和 WWTPN2O 数据集验证了所提出的方法,结果显示相比文献中各种建立良好基线,将小波分析、神经算子和生成模型结合到一个框架中以检测和隔离故障的想法得到了有希望的结果。
Jan, 2024
通过演化算法和梯度下降方法,本研究提出了四种算法来寻找人工神经网络结构,用于行为(黑箱)建模特定的动态过程。在研究中,采用了经过优化选择的循环型人工神经网络,优化的目标是在学习的数学模型响应下,平衡神经网络的规模和准确性。并通过数学模型验证研究中提出的演化算子的有效性。
Sep, 2023
本篇论文提出一种基于演化有向无环图的算法框架,自动生成高效的深度神经网络并优化其相关超参数,与已有文献中的搜索空间相比更具灵活性,能优化网络的结构和超参数,已经在时间序列预测基准测试中得到了实验结果的验证。
Feb, 2023
本研究提出了一个新的神经架构搜索框架,它基于一个使用形态操作的爬山过程并采用新的梯度更新方法。该技术可以在更广泛的搜索空间中搜索,从而产生竞争优势,其在单个 GPU 训练的 19.4 小时内在 CIFAR-10 数据集上实现了 4.96%的错误率。
Feb, 2021
本文介绍了基于小波变换的多尺度归一化流 Wavelet Flow,它具有低分辨率信号的显式表示和高分辨率信号的条件生成等多个优点,并在比特 / 维度标准测试中表现出与以前的归一化流相媲美的性能。
Oct, 2020
我们通过使用梯度的有效估计器来克服了正规化流设计受到解析可逆性需求的约束,并实现了任意保持维度的神经网络作为最大似然训练的生成模型,在分子生成基准测试中取得了出色的结果,同时采用现成的 ResNet 架构在一个反问题基准测试中具有竞争力。
Oct, 2023