基于图的生成式编码建模
本文介绍了一种基于图神经网络的强大新方法,用于学习生成模型的过程中捕获图的结构和属性。实验证明,相较于不使用图结构表示的基线,我们的模型常常表现更好,是学习任意图的生成模型的第一个最通用的方法,为从矢量和序列式知识表示的限制中走向更具表现力和灵活性的关系型数据结构开辟了新方向。
Mar, 2018
本文介绍了如何使用图表示代码的句法和语义结构,并使用基于图的深度学习方法来学习对程序结构进行推理的方法。作者在两个任务上对该方法进行了评估:VarNaming 和 VarMisuse,结果表明使用已知结构的建模方法具有优势,并且可以在许多情况下学习推理有意义的变量名和解决 VarMisuse 任务,并且 VarMisuse 还可以发现成熟开源项目中的错误。
Nov, 2017
本文提出了一种新型神经体系结构,它由语法模型支持,旨在将自然语言描述解析为基于 Python 等通用编程语言的源代码,并将其显式地捕获为先验知识,以实现从自然语言描述生成复杂程序的规模化。实验证明,这是一种有效缩放到语言描述的复杂程序的方法,取得了优于以前代码生成和语义解析方法的最新成果。
Apr, 2017
通过代码语言模型生成三元组以构建语义结构明确的知识图谱,并使用增强理由生成法提高知识提取能力,实验结果表明该方法在基准数据集上取得优异表现。
Apr, 2023
本论文研究利用生成模型来生成人类可以读写的自然源代码,提出了一种结合了序列和层次结构、学习了源代码元素分布式表示、并且能够与编译器紧密集成来构建模型结构的生成模型族,同时也开发了一种扩展,能够根据作用域内变量的情况来生成标识符令牌,实验结果表明适当结构的加入能够大幅提高模型能力。
Jan, 2014
本研究开发了多种神经网络模型,利用合成数据测试模型的编辑模式学习能力,从原型生成下一步的编辑行为。文章提出了一种新颖的 “注意力” 和 “指针” 网络的组合模型能够最大化地提高性能和可伸缩性,应用结果初步证明了开发可以习得预测未来编辑的工具的可行性。
Apr, 2019
本文是深度生成模型应用于图生成任务方面的综述,介绍了深度生成模型的定义与预备知识,无条件图生成与条件图生成的分类、评估度量指标和深度图生成的应用,并提出了五个未来研究方向。
Jul, 2020
我们提出了一种基于句法树的语法引导生成模式,通过解码过程的两个部分:(1)对给定源句子中词汇化的句法上下文中的每个成分预测填充文本;(2)映射和扩展每个成分以构建下一级语法上下文以生成自然语言文本,并在重述生成和机器翻译上进行了实验。与自回归基线相比,该方法在有效性和可解释性方面更加出色。
Jun, 2023
本文介绍了一种结合了生成模型和神经网络思想的上下文图马尔科夫模型,其基于一种构造性方法来构建深度架构,通过逐步学习编码结构化信息。这种图编码方法与判别模型结合可用于解决结构分类问题。
May, 2018
通过使用 Syntax Graph Retrieval Augmented Code Generation (CodeGRAG) 模型,可以提高大型语言模型在单轮代码生成任务中的性能,填补编程语言和自然语言之间的差距,并使用外部结构化知识作为不同编程语言之间的桥梁,从而显著提高语言模型的代码生成能力。
May, 2024