Oct, 2021

通过连续松弛进行算法监督的学习

PDF
TL;DR本文提出了一种将算法组件集成到端到端可训练的神经网络体系结构中的方法，通过条件语句、循环和索引来松弛离散条件，获得连续可微的算法。结果表明，所提出的连续松弛模型可以应用于多种任务。
发现论文，激发创造
  • 可微分算法学习

    本论文探讨了算法监督的概念，提出了一种连续松弛算法的一般方法，定量评估了算法和神经网络的组合对性能和效率的增益，并探讨了在算法中引入可微性的各种不同技术和训练策略。

    Sep, 2022

  • 对组合优化问题的连续放松控制

    该论文研究了在相对密集的图形上，物理启发的图神经网络（PI-GNN）求解器的性能问题，并通过引入新的惩罚项和连续松弛退火策略来解决这些问题，以取得更好的组合优化问题的解决效果。

    Sep, 2023

  • 从连续视角看机器学习

    我们提出了机器学习的连续形式，作为经典数值分析中变分计算与微分积分方程问题的解决方法，演示了如何通过离散化来恢复传统的机器学习模型和算法，同时展示了从这种连续形式自然产生的新模型和新算法。并讨论了如何在这个框架下研究泛化误差和隐式正则化问题。

    Dec, 2019

  • 连续多类标记方法和算法

    本文研究了基于度量交互势能的连续域图像标注问题的凸松弛问题，提出了两种不同的凸松弛方法并通过 Douglas-Rachford 迭代方案求解离散问题，结果在合成和实际图像上都表现出了优良性能，在非标准势能情况下，结合创新二值化技术能够恒定的恢复出图像标注的离散解。

    Feb, 2011

  • 离散神经算法推理

    我们提出了一种神经推理器的架构选择，强制其将执行轨迹视作有限预定义状态的组合，通过对算法状态转换进行监督训练，以实现与原始算法的完美对齐，并在 SALSA-CLRS 基准测试中获得了完美的测试分数，同时使得我们能够证明对于任何测试数据，所学算法的正确性。

    Feb, 2024

  • 基于训练过的神经网络的优化：放松行走

    此研究提出了一种基于全局和局部线性松弛的可扩展启发式方法，用于对训练后的神经网络模型进行建模和求解，具有与最先进的整数线性规划（MILP）求解器和之前的启发式方法相竞争，并且在输入、深度和神经元数量增加时能够产生更好的解。

    Jan, 2024

  • 连续时间强化学习：新设计算法的理论洞见和性能保证

    连续时间非线性最优控制问题中的强化学习方法面临复杂性、数值条件和维度扩展等挑战。该论文介绍了新的强化学习算法，应用于仿射非线性系统的控制，并引入了新的激发框架以优化性能。

    Jul, 2023

  • 多重网格学习松弛方法

    通过使用神经网络学习松弛参数来改善多重网格算法的收敛速度和处理离散微分方程的能力。

    Jul, 2022

  • 激活松弛：脑内反向传播的局部动态逼近

    提出了 Activation Relaxation (AR) 算法，利用构建反向传播梯度的动力系统平衡点实现只利用局部信号的反向传播，可以在任意计算图上收敛，能在视觉分类任务上训练深度神经网络并且进行神经生物学实现的简化。

    Sep, 2020

  • 深度学习作为最优控制问题：模型与数值方法

    本文探讨了深度学习神经网络作为最优控制问题的离散化，提出了一类算法来解决离散最优控制问题，并探讨了在时间离散化方面的延伸。

    Apr, 2019