树结构中的句子生成
我们提出了一种基于句法树的语法引导生成模式,通过解码过程的两个部分:(1)对给定源句子中词汇化的句法上下文中的每个成分预测填充文本;(2)映射和扩展每个成分以构建下一级语法上下文以生成自然语言文本,并在重述生成和机器翻译上进行了实验。与自回归基线相比,该方法在有效性和可解释性方面更加出色。
Jun, 2023
本文提出了一种基于树结构的神经架构 (TreeGen) 来生成编程语言代码,该模型使用了 Transformer 的注意力机制解决了长依赖问题,并引入了一种新颖的 AST 阅读器 (encoder) 将语法规则和 AST 结构整合到网络中。在 Python 基准测试、ATIS 和 GEO 语义解析基准测试中,TreeGen 的性能优于之前的最先进方法 4.5 个百分点,同时在 ATIS(89.1%)和 GEO(89.6%)的神经网络方法中实现了最佳精度。
Nov, 2019
通过提出一种基于树的循环方法,将生成的输出结果进行分析、解释和适应,我们提出了一个名为 generAItor 的可视化分析技术,它通过在中央的搜索树上使用各种特定任务的小部件来提供目标可视化和交互。我们的技术支持多层次的交互,提供生成、探索、比较输出候选项以及根据适应数据来微调模型的迭代性流程。通过案例研究,我们证明了该工具在性别偏见分析方面产生了超越最先进模板方法的新见解。此外,我们还展示了该方法在定性用户研究中的适用性。最后,我们通过定量评估模型对少量样本的适应能力来评估其在文本生成用例中的可用性。
Mar, 2024
本文提出 Tree-Transformer 神经网络架构,可用于树状结构数据的矫正任务,并在源代码和自然语言两个领域中分别取得了 25% 和 10% 的改进。
Aug, 2019
通过引入句法归纳偏差,使用依赖分析树驱动转换器模型迭代生成句子,实验证明其比 LSTM 和 Transformer 更有效,并具有可比拟的多样性且需要较少的解码步骤,生成过程允许对生成文本的句法构造进行直接控制,从而实现风格变形的归纳。
Apr, 2020
本文提出了一种基于高斯混合模型的新颖非监督式抽象摘要方法。实验结果表明,该方法生成的主题句适合作为观点文本摘要,并且更具信息量和覆盖面。
Jun, 2021
本文提出了一种新的 Attentive Recursive Tree 模型,它可以根据任务动态地定位一个句子中的重要单词,在底向上进行句子嵌入的组成时,AR-Tree 可以内在地强调重要单词。通过一种端到端的加强训练策略,该模型在三个句子理解任务上表现出色。
Nov, 2018
本文提出一种新的图到树神经网络模型 (Graph2Tree),该模型包含一个图编码器和一个分层树解码器,能够对图结构的输入进行编码和树结构的输出进行解码,用于解决神经语义解析和数学问题求解,实验证明该模型在这些任务上表现优异。
Apr, 2020
本文提出一种基于序列到序列 (S2S) 方法的自然语言生成器,可以从输入的对话行为生成自然语言字符串和深度语法依存树,并将双步生成和单步生成进行了比较,结果表明单步生成表现更优秀。
Jun, 2016