Jul, 2020

使用可接受的神经启发式学习可微分程序

PDF
TL;DR研究解决学习特定领域语言中表达的可微分函数的问题，通过将神经网络的不同类视为对程序空间的松弛，并在一系列分类任务中实例化遗传算法和分支界限搜索来发现自然解释和有竞争力的程序分类器。
differentiable functionsdomain-specific languagecombining neural networksprogram learningsequence classification tasks
发现论文，激发创造
  • 神经库的可微程序

    通过使用不同的可微编程语言和神经网络的框架，我们创建了端到端可训练系统，可以学习编写带感知元素的可解释算法。通过模块化结构和归纳偏差，我们证明了可以学习一组不断增长和改进的 (神经) 函数库，这可以带来比基线更高效的新任务知识传递。

    Nov, 2016

  • 神经程序员：利用梯度下降诱导潜在程序

    本研究提出了一种新颖的神经程序模型（Neural Programmer），该模型扩展了具有少量基本算术和逻辑运算的不可区分神经网络，此模型可以在多个步骤中调用这些扩展操作，因此产生的组成程序比内置操作更复杂。该模型采用相对较弱的监督信号进行训练，不需要昂贵的编写正确程序的注释，经过训练在很复杂的综合表理解数据集中取得了几乎完美的准确度。

    Nov, 2015

  • 可微分算法学习

    本论文探讨了算法监督的概念，提出了一种连续松弛算法的一般方法，定量评估了算法和神经网络的组合对性能和效率的增益，并探讨了在算法中引入可微性的各种不同技术和训练策略。

    Sep, 2022

  • 神经程序搜索：从描述和示例中解决编程任务

    本文提出了一种用自然语言描述和少量输入 / 输出样例来生成程序的算法，称之为神经程序搜索。该算法将深度学习和程序合成领域的方法结合起来，通过设计丰富的领域特定语言和根据 Seq2Tree 模型进行指导的高效搜索算法。通过一个半合成的描述和测试案例数据集对该方法的质量进行了评估，结果表明我们的算法明显优于基线的带注意力的序列到序列模型。

    Feb, 2018

  • 神经程序的高效学习

    以输入输出样本为基础的黑盒组件，ISED 算法通过学习神经程序的方式来估计深度神经网络参数，其性能与最先进的神经符号框架相媲美，并且在使用先前的工作基线的情况下，以更高的数据和样本效率达到了类似的准确性。

    Jun, 2024

  • 结构化样例的可微归纳逻辑编程

    该论文提出了一种可微分实现的逻辑程序学习框架，包括自适应子句搜索、基本命题枚举算法和柔和的程序合成方法，能够学习噪声和结构化的例子，试验表明该框架可以适应复杂的多子句程序。

    Mar, 2021

  • 自适应神经编译

    该论文提出了一种自适应神经编译框架来解决高效节目的学习问题，并展示了如何使用可微表示将程序编译为不同 iable 的表示，并通过考虑输入数据分布来优化这种表示，以实现为给定数据分布学习特定调整算法的目标。

    May, 2016

  • 概率神经程序

    我们提出了概率神经程序 —— 一个编程归纳框架，它允许灵活指定计算模型和推断算法，同时启用深度神经网络。概率神经程序将用于指定神经网络的计算图与加权非确定性选择操作符结合起来，从而既描述了一组决策，又描述了用于做出每个决策的神经网络架构。我们在一个具有挑战性的图表问答任务上评估了该方法，发现相对于基线模型，概率神经程序可以正确执行近两倍的程序。

    Dec, 2016

  • HOUDINI: 基于程序综合的终身学习

    本文提出了一种神经符号框架，用于混合感知和程序推理算法任务的终身学习，介绍了一种结合了梯度下降和程序组合搜索的程序合成方法，并在三个基准测试中评估了其性能。

    Mar, 2018

  • 可微分编程的要素

    通过大规模模型、海量数据集、加速硬件和可微分编程的变革力量，人工智能最近取得了显著进展。不仅可以以端到端的方式对复杂计算机程序进行微分，还可以优化程序参数。可微分编程建立在自动微分、图模型、优化和统计学等多个计算机科学和应用数学领域的基础上，本书全面评估了不同 iable 编程的基本概念。通过优化和概率的两个主要视角，我们介绍了两者之间的明显相似之处。可微分编程不仅仅是程序的微分，还包括为微分而设计的富有思考的程序，通过使程序可微分，我们自然引入了与程序输出相关的概率分布，从而提供了量化不确定性的手段。

    Mar, 2024