Jul, 2023

ExeDec：神经程序合成中的执行分解技术

PDF
TL;DR通过将复杂任务分解为更小、更熟悉的子任务，人们在编写程序时能够解决新的复杂任务。本文中，我们表征了程序合成中几种不同形式的组合泛化，构建了一个元基准，用于为两个流行的数据集 RobustFill 和 DeepCoder 创建泛化任务。然后，我们提出了 ExeDec，一种新颖的基于分解的合成策略，它通过预测执行子目标，逐步解决问题并利用每一步的程序执行。与基线相比，ExeDec 具有更好的合成性能和大大改善的组合泛化能力。
neural program synthesiscompositional generalizationmeta-benchmarkexedecprogram execution
发现论文，激发创造
  • 神经程序合成中的组合泛化和分解

    本文介绍了一种测量神经程序合成方法能否组合泛化的方法，引入了基于两个流行数据集的任务基准套件，以评估合成器在组合泛化方面的能力，最后通过新的注意机制来改进变压器模型的组合泛化能力

    Apr, 2022

  • 神经网络中结构组合性的证据

    利用模型修剪技术，在视觉和语言领域的各种架构、任务和预训练方案中，研究神经网络是否通过模块化子网络实现子程序的解决方案，结果表明神经网络通常可以展示组合性，避免了专门的符号机制。

    Jan, 2023

  • 系统化综合的组合式程序生成

    给定一篇研究论文，通过训练神经符号结构的组合程序生成器（CPG），实现少样本学习和按长度生产序列到序列语言任务的通用性。

    Sep, 2023

  • 通过学习分析表达式实现组合泛化

    通过基于神经网络和具有符号功能的可变插槽进行变通泛化的记忆增强神经模型，该模型由两个协同神经模块组成，一个是 Composer，另一个是 Solver，通过分层强化学习算法进行端到端训练，实现变通组合能力，其在 well-known benchmark SCAN 上的实验表明，我们的模型具有极强的组合泛化能力，以 100％精度解决了之前工作中面临的所有挑战。

    Jun, 2020

  • 语义标记实现组合泛化

    在语义解析中，提出了一个新的解码框架，该框架保留了序列到序列模型的表现力和通用性，同时具有类似词典的对齐和解开信息处理，能够提高模型的组合泛化能力。

    Oct, 2020

  • 神经程序合成的学习修复：合成、执行和调试

    该研究通过整合不同的神经网络模型，使模型在程序综合问题上表现更出色，并且提出了一个神经程序调试工具，可以通过修改神经网络的生成结果来改善程序效果。

    Jul, 2020

  • 基本替换的构成性泛化

    本研究探索使用双重表示来编码组合性，一种生成注意力图，另一种将输入转化为数字的映射。我们改进了每种表示中的熵来提高泛化能力。在五项自然语言处理任务中，实验结果显示本方法对于传统方法有显著的改进，协助实现人类级别的组合语言学习。

    Oct, 2019

  • 递归解码：基于情境认知的基于语境的语言理解中的组合生成方法

    本文提出了 Recursive Decoding (RD) 算法，针对 “decode-side” 推理，通过逐步预测每个单词来训练 seq2seq 模型，进而在 grounded language understanding 中，以及 seq2seq 领域中实现了显著的改进。

    Jan, 2022

  • 神经符号栈机的组合泛化

    通过引入神经符号堆栈机（Neural-Symbolic Stack Machine，NeSS），将神经网络的序列生成能力与符号堆栈机的递归支持相结合，解决了现有深度学习模型存在的组成泛化能力有限的问题。NeSS 在四个领域的测试中均获得了 100% 的组成泛化性能。

    Aug, 2020

  • 神经程序的高效学习

    以输入输出样本为基础的黑盒组件，ISED 算法通过学习神经程序的方式来估计深度神经网络参数，其性能与最先进的神经符号框架相媲美，并且在使用先前的工作基线的情况下，以更高的数据和样本效率达到了类似的准确性。

    Jun, 2024