Jun, 2024

通过决策 Transformer 和 Epsilon-Greedy 优化加速矩阵对角化

PDF
TL;DR该论文介绍了一种新颖的矩阵对角化框架，将其重新定义为一个顺序决策问题，并应用决策转换器的力量。通过使用 Jacobi 算法在对角化过程中确定最佳的枢轴选择，相较于传统最大元素 Jacobi 方法，我们的方法实现了显著的加速。为了增强鲁棒性，我们还整合了 ε- 贪心策略，使得在确定性方法失效的情况下仍然能够成功。本研究展示了决策转换器在复杂计算任务中的有效性，并突出了通过机器学习视角重新构想数学运算的潜力。此外，我们通过使用迁移学习来对比训练过的较小规模矩阵进行对角化，证实了我们方法的泛化能力。
matrix diagonalizationsequential decision-making problemdecision transformersjacobi algorithmtransfer learning
发现论文，激发创造
  • 基于图同构网络和 AlphaZero 框架的矩阵对角化加速

    本文介绍了加速矩阵对角化的创新方法，其中大型矩阵对角化采用了半马尔可夫决策过程，小型矩阵对角化则采用了马尔可夫决策过程。我们考察了在不同大小的矩阵之间利用可扩展架构的潜力。在短时间内，我们的方法发现了对角化所需步骤的显著减少，并表现出高效的推理能力。重要的是，这种方法展示了对大规模矩阵的可扩展性，表明其在科学和工程领域具有广泛的应用潜力。在训练完成后，我们获得了动作 - 状态概率和转移图，这些图描述了不同状态之间的转换。这些输出不仅能够深入了解对角化过程，还为大规模矩阵相关的成本节约铺平了道路。本研究的进展提高了矩阵对角化的效能和可扩展性，推动在科学和工程领域实际应用中的新可能性。

    Jun, 2024

  • 矩阵对角化如游戏：教授特征值求解器最快的解法

    利用强化学习，使用 AlphaZero 框架将 Jacobi 矩阵对角化加速，实现了使用机器学习作为提高数值线性代数性能的可行性，从而在解决量子化学计算中对称哈密顿矩阵的过程中可以大大加速。

    Jun, 2023

  • 使用梯度下降学习决策树

    本研究提出了一种使用梯度下降学习固定坐标轴的坚硬 Decision Trees 的新方法，该方法使用反向传播来联合优化所有树参数，相比于现有方法，我们的方法在二元分类基准上表现更好，并在多类任务中取得了竞争性的结果。

    May, 2023

  • 协方差矩阵适应进化策略的对角加速

    介绍了对协方差矩阵适应进化策略（CMA-ES）的加速技术 - 自适应对角解码（dd-CMA）。通过为采样分布引入表达坐标方差的对角矩阵来实现对称 CMA-ES 的重要优势，还可以利用可分离性，而不会损害非可分离问题的性能。我们还引入了两种保证协方差矩阵正定性的方法，并修订了 CMA-ES 的默认参数设置。在数值实验中，我们观察到 dd-CMA-ES 在存在坐标病态性的函数上表现出显着的性能提高，并且在大规模问题中也表现出了改进的效果。

    May, 2019

  • 可导有向无环图学习的截断矩阵幂迭代

    提出一种基于截断矩阵幂迭代的 DAG 学习方法，通过增加高阶多项式系数以逼近 DAG 约束条件。实验结果表明，该方法在各种设置下的性能优于现有的 DAG 学习方法。

    Aug, 2022

  • 弹性决策变换器

    本研究介绍了一种新的弹性决策变换器（EDT）方法，可以在测试时通过调整在 DT 中保留的历史长度来促进轨迹拼接，实现优化轨迹和跨越 DT 和 Q 学习方法之间的性能差距，表现出优越性能。

    Jul, 2023

  • 用于行列式点过程的更快贪婪 MAP 推断

    本文提出了使用 log-determinants 和 stochastic trace estimators 的两种逼近方案来使得贪心算法更快速，从而解决大规模 determinantal point processes 的 MAP 问题。实验表明，该算法在不牺牲较少精度的情况下比其竞争对手快数个数量级。

    Mar, 2017

  • 通过近似对角化为长序列的状态空间模型提高鲁棒性

    在这篇论文中，我们提出了一个用于解决机器学习中的病态对角化问题的通用、稳定的 “扰动 - 然后对角化” (PTD) 方法，并基于此方法引入了 S4-PTD 和 S5-PTD 模型。通过对不同初始化方案的传递函数进行理论分析，我们证明了 S4-PTD/S5-PTD 初始化可以强大地收敛于 HiPPO 框架，而 S4D/S5 初始化只能实现弱收敛。因此，我们的新模型对傅里叶模式噪声扰动输入表现出了鲁棒性，这是 S4D/S5 模型所无法达到的重要特性。此外，我们的 S5-PTD 模型在 Long-Range Arena 基准上平均达到 87.6% 的准确率，证明了 PTD 方法在提升深度学习模型的准确性方面起到了积极作用。

    Oct, 2023

  • 通过层次强化学习重新思考决策 Transformer

    决策 Transformer 是一种创新算法，利用了转换器架构在强化学习中的最新进展；我们提出一个序列建模框架来研究通过分层强化学习进行顺序决策的方法，并展示了 DT 作为该框架的一个特例，同时讨论了潜在的失败选择；受到这些观察的启发，我们研究了如何联合优化高层和低层策略以实现拼接能力，从而进一步发展了新的离线强化学习算法；我们的实证结果清楚地表明，所提出的算法在多个控制和导航基准测试中明显优于 DT；我们希望我们的贡献可以在强化学习领域中推动转换器架构的整合。

    Nov, 2023

  • 决策变压器作为部分可观测连续控制的基础模型

    利用预训练的语言模型，探索决策变压器（DT）架构作为一种通用的控制器综合框架，同时展示了 DT 在各种控制任务上的能力，包括对非线性动力系统和部分微分方程进行控制，并具备出色的零样本泛化能力。

    Apr, 2024