本研究使用状态转移机器学习估计序列之间的译码方法,通过探索序列到序列学习的等效问题,其考虑到一种基于准同步文法的层次序列到序列方法,在各种应用中达到了合理的性能。
Sep, 2021
本研究提出一种基于神经网络的译码器,结合层次短语作为训练的归纳偏差和显式约束,在维持标准序列到序列 (seq2seq) 模型的灵活性的同时。通过训练一个基于括号转录文法的判别式解析器,以层次化地对齐源和目标语短语,并使用一个神经 seq2seq 模型逐个地翻译这些对齐短语。该模型提出两种推理模式:一种只依赖于 seq2seq 模型进行序列级别的翻译,另一种则结合了解析器和 seq2seq 模型。研究结果表明,在小规模机器翻译基准测试中,该方法与对照方法相比表现良好。
Nov, 2022
本文提出了基于依赖图的 QDMR 解析器,通过提出非自回归图解析器和使用金标准图作为辅助监督的 seq2seq 解析器,实现了推理速度的 16 倍提升和对新域的更好泛化能力。
Apr, 2021
提出了一种名为 Grounded Graph Decoding 的方法,通过使用注意力机制将结构化预测接地,从而提高语言表示的组成泛化,该方法显示出无需在目标领域做出任何假设即可学习组不变表示的能力,显著提高了复杂输入的一般性。
Nov, 2021
本论文研究了 LLMs 在信息提取等任务中生成复杂输出结构的问题,提出了一种基于形式语法约束的解码方法,通过合理的限制保证生成的符号序列能够具有语法正确性,同时在大型符号集信息提取和实体消歧方面取得了良好的效果,结果表明在缺乏训练数据、后调较为昂贵的场景下,采用基于形式语法约束的解码策略能够有效提升模型生成结构化输出的能力。
May, 2023
通过使用组合范畴语法(CCG)作为语法模型,研究人员发现可以更好地理解自然环境中语言理解的行为和神经相关性。使用 fMRI 收集参与者听故事期间的神经信号,研究发现 CCG 在解释神经信号方面的有效性优于上下文无关文法,并可以从可选附加语方面解释。
Oct, 2022
本篇研究将深度限制的方法应用于概率无上下文语法归纳,并在语法获取方面取得了出色的结果,并且从该模型中获得的语法证明了对类别标签的一致使用。
Feb, 2018
本文介绍了一种基于张量分解的新的概率上下文无关文法参数化形式,其符号数量的计算复杂度最多为二次,适用于大量符号,可以进一步使用神经参数化来改善无监督解析性能。
本文提出一种新的 GNN 设计策略,利用无上下文语法生成矩阵语言 MATLANG,从而确保 WL 表达能力,子结构计数能力和谱属性。根据该策略,设计了语法图神经网络 G$^2$N$^2$,证明了其在边级上计算长度为 6 的环并能够达到带通滤波器,实验结果证实了理论结果。
Mar, 2023
使用张量秩分解技术处理计算复杂度问题,使得能够更有效地对 Hidden Markov Models 和 Probabilistic Context-Free Grammars 进行因子图文法表示和推断。在语言建模和无监督语法分析任务上,相较于之前的方法有更好的表现。
May, 2022