Apr, 2022

RankNEAT：在偏好学习任务中优于随机梯度搜索

PDF
TL;DR通过神经进化的模式识别算法来训练神经网络，RankNEAT 算法通过学习排序来优于传统的梯度优化算法，在情感计算中预测三个不同游戏的玩家焦虑状态。
stochastic gradient descentneural networkspreference learningevolutionary searchrankneat
发现论文，激发创造
  • 神经进化胜过随机梯度下降用于物理信息神经网络

    本研究分析了使用梯度下降算法在 PINN 中产生的复杂度和粗糙性，并证明使用神经进化算法作为 PINN 的替代方法可能更好。基准问题和基线结果表明，使用 JAX 实现神经进化可获得比标准实现快几个数量级的收敛速率。

    Dec, 2022

  • 深度神经进化：遗传算法是训练深度神经网络进行强化学习的竞争性替代方案

    我们证明了遗传算法可以在深度人工神经网络上实现良好的性能表现，即使没有梯度信息支持，我们使用深度遗传算法结合新颖搜索技巧在具有挑战性的深度强化学习问题上获得了成功，并且速度比其他算法更快，能够实现高效编码。

    Dec, 2017

  • 深度神经网络优化的进化随机梯度下降

    该研究提出了一种基于人口的进化随机梯度下降（ESGD）框架来优化深度神经网络，该框架将 SGD 和基于梯度的进化算法作为互补算法，以提高种群的平均适应度。

    Oct, 2018

  • SortNet: 通过基于神经网络的排序算法学习排序

    透过使用神经网络作为比较器的排序算法 SortNet，在 LETOR 数据集上展现出与其他先进算法相比具有潜力的性能。

    Nov, 2023

  • NeuroLGP-SM: 深度神经网络的可扩展替代辅助神经进化

    在神经进化（neuroevolution）中，我们提出了一种名为 NeuroLGP-SM 的方法，它利用表型距离向量和 Kriging Partial Least Squares（KPLS）作为代理模型，以高效准确地评估大型深度神经网络（DNNs）的适应度，并且相比其他方法具有竞争力或更好的结果和更高的能源效率。

    Apr, 2024

  • SGD 视角下的进化算法：极限等价、极小值平坦性和迁移学习

    本文介绍了一种类似 Gillespie-Orr 突变景观模型的进化算法，称为 Gillespie-Orr EA class (GO-EAs)，该算法在一定条件下与随机梯度下降 (SGD) 等效，并且在处理大型人工神经网络方面表现良好，进而探讨了 SGD 和 GO-EAs 在寻找最优点和知识迁移方面的共同之处和互相促进的表现。

    May, 2023

  • 用坐标搜索算法训练人工神经网络

    通过提出的梯度 - free 的 Coordinate Search (CS) 算法，本文介绍了一种适用于神经网络的训练方法，该方法能够应用于非可微激活函数和多目标 / 多损失问题，并具有较高的收敛速度。

    Feb, 2024

  • 自动驾驶智能体的 Q 学习与神经进化增强拓扑的比较研究

    本文侧重于对比自强学习算法中的 Q-learning 算法和神经进化成形（NEAT）算法，并比较它们在自动驾驶领域的应用。

    Sep, 2022

  • 深度学习的鲁棒自适应随机梯度方法

    本文提出了一种自适应学习率算法，该算法利用了损失函数的随机曲率信息自动调整学习率，并且提出了一种新的方差缩减技术以加速收敛，在深度神经网络实验中，相比于流行的随机梯度算法获得了更好的性能。

    Mar, 2017

  • 深度神经网络消元选择

    本文介绍了一种名为 Neural Choice by Elimination 的新框架，将深度神经网络集成到概率顺序选择模型中，用于学习排名。该框架集成了最近引入的 Neural Highway Networks 以近似任意复杂的排名函数，证明了本方法在大规模公共数据集上具有与最先进的学习排序方法相竞争的性能。

    Feb, 2016