Nov, 2023

双向响应式编程的机器学习

PDF
TL;DR反应式语言是用于与环境连续并发交互的系统的编程。值采用无界流的形式，模拟时间的离散流逝或并发交互的序列。我们引入了一种对称的反应式构造，使得反向递归成为可能。对后者的约束使得实现变得实际。机器学习系统提供了许多动机：我们证明了反向模式的自动微分，反向传播，批量归一化，双向递归神经网络，训练和强化学习算法都可以自然地作为双向反应程序捕获。
reactive languagesunbounded streamsrecurrencesreverse-mode automatic differentiationbidirectional reactive programs
发现论文，激发创造
  • 大规模机器学习中的动态控制流

    本文介绍了一种支持动态控制流的分布式机器学习编程模型，并在 TensorFlow 中进行了实现和评估。通过使用数据流图来表示机器学习模型，该模型支持将条件语句的分支和循环体分配到多台设备上运行，从而提高了性能和可扩展性。

    May, 2018

  • 循环神经网络在序列学习中的关键评估

    本文对于近三十年来产生和实践了重要的循环神经网络（RNN），LSTM 和 BRNN 等模型的研究进行综述，旨在提供一个自成体系的最前沿阐述和历史视角，并引用了相关研究文献。

    May, 2015

  • 机器学习中的代数动力系统

    引入了一种基于术语重写的动力系统的代数模拟，证明了递归函数应用于迭代重写系统的输出定义了一类模型，其中包括循环神经网络、图神经网络和扩散模型等所有主要的动态机器学习模型架构。从范畴论的角度来看，这些代数模型也是描述动态模型组成性的一种自然语言。此外，我们提出这些模型为将上述动态模型推广到结构化或非数值数据（包括 “混合符号 - 数值” 模型）的学习问题提供了一个模板。

    Nov, 2023

  • 探索实时循环学习的优缺点

    本文研究了将实时递归学习和策略梯度相结合的演员 - 评论员方法在 DMLab、ProcGen 和 Atari-2600 环境中的应用，结果表明，在 DMLab 记忆任务中，我们的系统相比于训练了 10 B 帧的 IMPALA 和 R2D2 基线的系统，只需训练不到 1.2 B 个环境帧就能够达到很好的性能表现。

    May, 2023

  • 使用时间本地规则学习循环模型

    生成模型对顺序数据的拟合通常涉及两个循环计算，一个向前，一个向后。本文探讨了一种不同的解决方法：要求生成模型学习当前状态和前一个状态之间的联合分布，而不仅仅是转移概率。在玩具数据集上展示了不同架构使用这一原则能够学习通常需要向后传递的数据方面的内容。

    Oct, 2023

  • 无逻辑编程中的逻辑编程

    本文构建了一个基于逻辑的框架，使用操作语义来执行反应规则，保证规则的真实性，但无法扼制原因变为真实或者在原因变为真实之前就使结果为真。

    Jan, 2016

  • 实时机器学习：遗失的部分

    针对机器学习在实时决策中的应用，提出需要一种新的分布式执行框架来实现毫秒延迟、高吞吐、任务图的自适应构建以及异构内核的执行等一系列要求，并提出了一个候选方案，其架构已经获得了 63 倍的性能提升。

    Mar, 2017

  • 实时循环强化学习

    我们提出了一种新颖的强化学习算法，名为实时循环强化学习 (RTRRL)，通过利用随机反馈局部在线学习 (RFLO) 近似实时递归学习 (RTRL) 来计算循环神经网络参数的梯度，并结合具有资格迹的时序差分强化学习 (TD (λ))，能在部分可观测马尔可夫决策过程 (POMDPs) 中解决离散和连续控制任务，达到生物可行并超越了传统的时间反向传播算法 (BPTT)。该方法模拟哺乳动物大脑奖励途径的生物神经网络进行学习。

    Nov, 2023

  • 学习连续物理模型

    通过运用数值分析理论建立的收敛性测试方法，验证机器学习模型是否准确地学习了某个系统本质的连续动力学过程，成功的模型能够更好地插值和外推，为科学预测提供更精确的数学手段。

    Feb, 2022

  • 利用稀疏连接和选择性学习的在线实时递归学习

    这篇论文介绍了一种基于循环神经网络的状态构建方法，提出了能够让实时递归学习可扩展的两个约束条件，并在基准测试和政策评估中证明了其有效性。

    Jan, 2023