Aug, 2023

向规模化迈进：深度学习中多元回归的化学损失权重调整

PDF
TL;DR通过简单而有效的损失权重调整方法，提高了人工神经网络在学习多组分质量分数时的准确性，并且带来了更平衡的网络训练梯度。
发现论文，激发创造
  • 化学反应流中主成份传输源项预测的迁移学习

    通过使用各种迁移学习模型来预测氢 / 空气混合物的均相点火过程数据驱动的降阶模型的化学源项等目标，本研究评估了是否可以减少所需的训练样本数量。

    Dec, 2023

  • 通过自适应损失平衡在神经网络中进行任意时刻的预测学习

    通过从辅助预测中提取 “Anytime” 预测，优化自适应加权和的辅助损失，以平衡损失以相同的比例进行优化的神经网络。实验证明，采用自适应加权的任意神经网络（ANNs）可在较小的网络上比使用静态常数权重的大型网络更快地实现相同的准确性。

    Aug, 2017

  • 一种稳定的基于包装器的参数选择方法，用于高效的基于人工神经网络的数据驱动湍流建模

    通过人工神经网络和梯度衍生子集选择的方法，本研究分析和开发了一种用于建模复杂湍流流动和热传递现象的缩减建模方法。该方法在移除冗余或不相关参数方面优于其他方法，但人工神经网络训练中的过拟合和随机性可能导致在更高物理维度上实现不一致的子集选择。通过将这些方法应用于一个制造的子集选择问题以及湍流气泡流动中的气泡大小建模和管道流动中的位置变化湍流普朗特数建模，检验了参数缩减性能和试验一致性。研究发现，梯度衍生子集选择以最小化总导数损失的方式相比其他基于人工神经网络的包装器方法，在试验一致性方面具有改进，同时成功地去除了不必要的参数。对于缩减的湍流普朗特数模型，梯度衍生子集选择方法在验证案例中提高了预测能力。此外，减少的参数子集相比其他方法显示出略微增加的训练速度。

    Aug, 2023

  • 人工神经网络在压力过滤性能研究中的应用：锌浸出滤饼湿度建模

    使用人工神经网络（ANN）模型，研究开发了一种强大的机器学习工具，用于高精度预测锌生产中压力过滤工艺的蛋糕湿度。

    Aug, 2023

  • 回归主动学习中学习损失的数学分析

    本文介绍了一种新的基于 Learning Loss 框架的改进学习算法 LearningLoss++，通过对梯度的精确分析和对多尺度特征的结合实现了对数据的更好利用，提升了在人体姿势估计任务中的性能表现。

    Apr, 2021

  • 加速反应流高保真模拟的概率传递学习方法

    利用贝叶斯神经网络和自编码器来降低状态空间的维度，将知识从源域传递到目标域，该新颖的概率迁移学习框架在低维度和稀疏数据情境下能够正确预测热化学状态，并且比现有的确定性迁移学习策略所需的数据量少四倍。

    May, 2024

  • 多重损失加权与变异系数

    本文提出了一种利用方差系数确定权重，进而平衡单任务的多个损失函数的方法，并在深度估计和语义分割任务上进行了实验证明了可行性。

    Sep, 2020

  • 多头多损失模型校准

    提高机器学习模型的预测准确性和可靠性，本文提出了一种简化深度集成模型的方法，通过不同的误差计算方法来训练多个线性分类器，达到与成本高昂的深度集成模型相同的校准能力和良好的分类性能，适用于组织病理图像和内镜图像的分类应用。

    Mar, 2023

  • 利用神经网络加速外行星大气不平衡化学计算

    本研究探讨实现神经网络来替换一维化学动力学模型中的数学框架，以预测热木星大气模拟中的物种的混合比，结果显示，神经网络能够较准确地预测热木星大气中的物种混合比，且速度约快 1000 倍。

    Jun, 2023

  • 使用共享权重深度神经网络求解多核几何下的电子薛定谔方程

    本文介绍了一种通过引入神经网络和 Monte Carlo 方法相结合，结合深度迁移学习的方法来解决当前高精度计算方法在计算与电子相互作用的粒子数量较大时的计算成本大，探索引入权重共享约束的优化过程，使神经网络模型的 95% 的权重可以在变化的分子几何图案之间使用，从而加速优化。实现这一技术可以加速相同分子的核几何集的优化一倍，开辟了一条有希望的路线，可以产生预先训练的神经网络波函数，即使在不同的分子上也可以产生高精度。

    May, 2021