ICMLDec, 2020

潜在程序员：离散潜在编码用于程序综合

PDF
TL;DR该论文提出了一种利用具有特定搜索目的的输出表示形式来解决大规模空间搜索问题的方法，通过先使用自监督训练离散自编码器，再将结果离散潜在编码用作建立端到端序列预测任务的中间目标来学习离散潜在编码，基于这些研究成果提出了一种名为 'Latent Programmer' 的程序合成方法，实验证明使用离散潜在表示显著提高了合成精度。
sequence learningprogram synthesisdiscrete latent codesself-supervised learninglatent programmer
发现论文，激发创造
  • 序列模型的离散自编码器

    本文旨在通过强制使用自动编码器并引入改进的语义哈希技术，从序列模型中提取更好的表示，以提高其在语言建模和机器翻译等任务中的表现，并展示了该技术在生成多元化翻译方面的应用。

    Jan, 2018

  • 用于代码生成的潜在预测网络

    使用一种新型的神经网络架构，该论文探讨了如何从混合自然语言和结构化规范中生成编程代码，并且证明了较强基准的表现。

    Mar, 2016

  • 神经程序合成的潜在执行

    该研究文章提出了一种名为 LaSynth 的基于机器学习的程序合成方法，它能够学习潜在的嵌入式表示方法，进而提高下一个输入标记的预测性能，并通过生成随机的程序和 IO 对来进行训练以合成类似于人类编写的简洁 C 代码。该方法表现优异，在简单 C 代码的生成上达到了 55.2% 的准确率，并显著优于现有的无执行器方法。

    Jun, 2021

  • 神经程序员：利用梯度下降诱导潜在程序

    本研究提出了一种新颖的神经程序模型（Neural Programmer），该模型扩展了具有少量基本算术和逻辑运算的不可区分神经网络，此模型可以在多个步骤中调用这些扩展操作，因此产生的组成程序比内置操作更复杂。该模型采用相对较弱的监督信号进行训练，不需要昂贵的编写正确程序的注释，经过训练在很复杂的综合表理解数据集中取得了几乎完美的准确度。

    Nov, 2015

  • 学习推理程序草图

    本文介绍一种用于程序自动合成的方法，通过结合模式识别和显式推理来解决这些复杂的编程问题，同时使用新颖的中间表示和训练算法，使程序合成系统能够自学，从而在简单的英文描述编程问题数据集上取得了最先进的性能表现。

    Feb, 2019

  • 离散潜在码的低秩适应轨迹预测

    运用矢量量化变分自编码器（VQ-VAEs）和基于扩散的预测模型，通过离散潜在空间和实例级编码矢量的动态调整，实现轨迹预测的准确性和多样性，达到了三个标准基准测试的最新性能水平。

    May, 2024

  • 语言作为潜变量：离散生成模型用于句子压缩

    通过深度生成模型进行文本压缩，利用离散语言模型分布作为文档的潜在表示，生成模型引入离散语言模型的概念，通过变分自编码器进行推断，本研究在大量监督数据训练的情况下，得出抽象和提取式压缩的最新成果，并探索半监督压缩场景。

    Sep, 2016

  • B-Coder：基于价值的深度强化学习在程序合成中的应用

    程序合成通过从自然语言描述中创建准确的可执行代码。本文研究了基于增强学习和预训练语言模型的价值方法在程序合成中的应用，并展示了其在性能上达到了最新水平。

    Oct, 2023

  • CodeRL: 通过预训练模型和深度强化学习掌握代码生成

    CodeRL 使用预训练的语言模型和深度强化学习框架解决了程序合成中标准的有监督微调的一些局限，同时在 APPs 和 MBPP 基准测试中创造了新的 SOTA 结果。

    Jul, 2022

  • SEQ^3: 可微分的序列到序列到序列自编码器用于无监督的抽象句子压缩

    本文介绍了一种基于序列 - 序列 - 序列自编码器 (SEQ^3) 的神经网络模型用于非监督抽象句子压缩，利用预训练语言模型作为潜变量的先验，结合连续的松弛机制使模型可优化，避免了对平行文本摘要对的依赖，实现了在基准数据集上取得了诱人的结果。

    Apr, 2019