Aug, 2019

Tree-Transformer: 一种基于 Transformer 的树形数据纠错方法

PDF
TL;DR本文提出 Tree-Transformer 神经网络架构，可用于树状结构数据的矫正任务，并在源代码和自然语言两个领域中分别取得了 25% 和 10% 的改进。
tree-structured dataneural networkgrammar correctionsource codenatural language
发现论文，激发创造
  • TreeGen: 基于树状结构的 Transformer 编码生成架构

    本文提出了一种基于树结构的神经架构 (TreeGen) 来生成编程语言代码，该模型使用了 Transformer 的注意力机制解决了长依赖问题，并引入了一种新颖的 AST 阅读器 (encoder) 将语法规则和 AST 结构整合到网络中。在 Python 基准测试、ATIS 和 GEO 语义解析基准测试中，TreeGen 的性能优于之前的最先进方法 4.5 个百分点，同时在 ATIS（89.1%）和 GEO（89.6%）的神经网络方法中实现了最佳精度。

    Nov, 2019

  • 应用于语义解析和数学问题的图到树神经网络学习结构化输入输出翻译

    本文提出一种新的图到树神经网络模型 (Graph2Tree)，该模型包含一个图编码器和一个分层树解码器，能够对图结构的输入进行编码和树结构的输出进行解码，用于解决神经语义解析和数学问题求解，实验证明该模型在这些任务上表现优异。

    Apr, 2020

  • 通过将树结构输入 Transformer 进行代码预测

    该研究使用 Transformer 架构，通过让其了解代码的句法结构，提高了预测代码的准确性，在标准的 Python 数据集和 Facebook 内部 Python 语料库上进行了全面的实验评估。

    Mar, 2020

  • 使用树形编码的 Transformer 实现神经程序生成

    使用树形定位编码方案，结合自然语言分词词汇表，在编码任务中应用 Transformers 所能获得更好的效果

    May, 2022

  • 程序翻译的树形神经网络

    本文提出了一种基于深度神经网络的树形神经网络，通过注意力机制，将源树翻译成目标树，并在实际项目中验证了该方法的有效性。

    Feb, 2018

  • 树形 Transformer：将树形结构集成到自注意力中

    使用自注意力机制来诱导目标树结构，从而产生更好的语言模型，更可解释的注意力分数，并达到实验效果的 Transformer 变种 (Tree Transformer) 的提出。

    Sep, 2019

  • 树转录的句子压缩

    该论文提出了一种基于同步树替换语法的树到树转导方法，可以自然地捕捉结构不匹配。论文还介绍了在此框架中解码的算法，并展示了如何在大间隔框架内进行有区别性的训练，实验结果表明，该模型在句子压缩方面取得了显著的改进。

    Jan, 2014

  • 使用 Treeformers 形成树形结构

    Treeformer 是一种基于 CKY 算法和 Transformer 的体系结构，可以用于构建短语和句子的分层编码，相较于传统的基于 token 编码的 Transformer，能在机器翻译、文本摘要和自然语言理解等任务上带来显著改进。

    Jul, 2022

  • 树结构中的句子生成

    通过生成具有树遍历顺序的目标句子的新方法，本研究旨在提高现有系统的性能。此外，还引入了一个名为 SenTree 的模块来生成近似二叉树，并提出了一个基于该方法的联合训练框架，结合生成对抗网络的内在机制。

    Jun, 2024

  • 通过增量树转换学习结构编辑

    提出一种适用于结构化数据的增量编辑模型，以树状结构数据为例，采用编辑编码器和模仿学习方法，实现树的连续渐进式变换，与采用单次直接生成的编辑方法相比，明显提高精度和健壮性。

    Jan, 2021