可微分的多保真度融合:基于神经结构搜索和迁移学习的物理模拟高效学习
基于随机微分方程的扩散生成多保真度(DGMF)学习方法通过连续去噪过程生成解决方案输出,同时利用条件分数模型控制解决方案的生成,可有效学习和预测多维解决方案数组,将离散和连续保真度建模统一,展示了多保真度学习的有希望的新方向。
Nov, 2023
本文提出了一种简洁的深度多保真模型 (DMFM) 和物理驱动的深度多保真模型 (PD-DMFM),用于温度场预测,利用低保真度的数据来提高模型性能并减少对高保真度数据的依赖。通过对两个温度场预测问题的验证,证明了该方法可以显着降低模型对高保真度数据的依赖性。
Jan, 2023
近期人工智能的进展将深度学习作为计算机视觉、数据挖掘和自然语言处理等领域的关键技术。本文探讨了提高 NAS 在长尾数据集上搜索和训练性能的方法,特别关注了 SSF-NAS 这一现有方法,通过集成自监督学习和公平可微分 NAS,在长尾数据集上取得更好的性能。
Jun, 2024
为了解决高维数据下基于高斯过程的多保真度主动学习不易扩展以及传递误差的问题,我们提出了一种基于解缠混淆的深度贝叶斯学习框架,可以在多个保真度下学习代理模型的分布函数。
May, 2023
本文介绍了不同层面的深度学习神经网络结构搜索方法,指出当前手动搜索神经网络结构的困难和繁琐,提出了一种基于强化学习和多任务学习的神经网络结构自动化搜索算法 -- 多任务神经模型搜索算法 (MNMS),可用于自动化拟合多项任务,其最大的特点在于,采用了迁移学习的思路,将训练模型所获得的知识迁移到下一个任务当中,大幅度节省了搜索时间,提高了模型效果。
Oct, 2017
该研究介绍了一种方法,通过多精度评估、机器学习模型和优化算法的战略性协同,增强受有限计算资源约束的反向设计优化过程。该方法在两个不同的工程反向设计问题上进行了分析,通过在每个优化循环中利用训练有低精度模拟数据的机器学习模型,高效地预测目标变量并确定是否需要高精度模拟,从而显著节省了计算资源。此外,该机器学习模型在优化之前被战略性地使用以减小搜索空间,进一步加快了收敛到最优解的速度。该方法已被应用于增强差分进化和粒子群优化两种优化算法,对比分析表明两种算法的性能有所提升。值得注意的是,该方法适用于任何反向设计应用,实现了低精度机器学习模型和高精度模拟之间的和谐协同,并且可以无缝应用于任何种类的基于群体的优化算法。
Dec, 2023
本文介绍了一种基于神经网络的不同 iable rigid-body 物理引擎来学习动力学关系以及对其进行自动发现,替代了常规的解析式建模,使用神经网络能加速基于模型的控制架构,提高建模和控制的准确度。
Nov, 2020
本文提出了一种高效的神经架构搜索(Neural Architecture Search, NAS)框架,基于元学习的跨模态潜空间,结合预训练的网络库和数据库,可以快速地为新数据集搜索神经架构,并且还提出了一种元性能预测器来从多个未见数据集中预估和选择最佳的神经架构。实验结果表明,该模型受过 ImageNet-1K 的元学习并结合 NAS-Bench 201 搜索空间的神经架构,在包括 CIFAR-10 和 CIFAR-100 等多个未见数据集上成功泛化,平均搜索时间为 33 GPU 秒,即使在 MobileNetV3 搜索空间下,它比具有相似性能的可转移 NAS 方法 NSGANetV2 快 5.5K 倍。我们认为这为快速 NAS 和利用累积多年的数据集和架构的知识提出了新的研究方向。
Jul, 2021
在科学机器学习中,我们提出了一种新的多保真度训练方法,利用可用的不同保真度和成本的数据,通过多保真度数据定义线性回归模型的未知参数的新的多保真度蒙特卡罗估计器,并提供理论分析以保证该方法的准确性和对较小训练预算的改进鲁棒性。数值结果验证了理论分析,并表明与仅具有相似成本的高保真度数据训练的标准模型相比,我们用稀缺高保真度数据和额外低保真度数据训练的多保真度学习模型具有数量级更低的模型方差,说明在稀缺数据环境下,我们的多保真度训练策略能够产生具有较低期望误差的模型。
Mar, 2024
在本研究中,我们提出了一种可微分的模拟架构,用于关节刚体动力学,使得可以在计算的任何时刻利用神经网络来增强分析模型。该架构通过基于梯度的优化,在真实数据集和 sim2sim 转移应用的初步实验中,有效地识别模拟参数和网络权重,同时通过随机搜索方法克服了不良局部最优解。
Jul, 2020