结构明确的概率语法学习
研究语法诱导,使用线性无上下文重写系统进行无监督不连续解析,将文法形式限制为二元 LFCRS 并使用张量分解与参数化规则概率得到大量非终端符号,从而能够诱导出具有连续和不连续结构的语言学意义的树。
Dec, 2022
本文提出了一种计算隐马尔可夫模型中上下文无关文法概率的算法,解决了计算一类非二义性上下文无关文法概率的问题,并提出了一种可用于多项式绑定的二义性上下文无关文法概率的随机多项式算法。
Jun, 2022
我们研究了一个语法归纳问题的正式化,其将句子建模为由复合概率上下文无关文法生成。与传统的学习单一随机文法的方式不同,我们的文法的规则概率由每个句子的连续潜变量调制,这在传统上下文无关假设以外引出了边际依赖性。这种文法的推理通过折叠变分推理实现,在这种方法中,连续变量上放置平化的变分后验,并通过动态规划边际化潜在树。针对英语和中文的实验表明,与最近的最先进方法相比,我们的方法在无监督语法分析评估时非常有效。
Jun, 2019
本文提出一种新的 GNN 设计策略,利用无上下文语法生成矩阵语言 MATLANG,从而确保 WL 表达能力,子结构计数能力和谱属性。根据该策略,设计了语法图神经网络 G$^2$N$^2$,证明了其在边级上计算长度为 6 的环并能够达到带通滤波器,实验结果证实了理论结果。
Mar, 2023
本研究设计实验以探究生成式语言模型如何学习上下文无关文法,并发现了 Transformer 如何利用物理机制隐式地编码文法结构、形成类动态规划的 attention,并在处理语法错误时表现出的鲁棒性方面的相关拓展。
May, 2023
本文提出了一种将自然语言句子映射到其含义的 lambda 演算编码的方法,并描述了一种学习算法,用于将标记有 λ 演算表达式的句子的训练集作为输入。应用该方法,将自然语言接口学习到数据库,得到的分析器在两个基准数据库领域中优于之前的方法。
Jul, 2012
本文介绍了一种基于张量分解的新的概率上下文无关文法参数化形式,其符号数量的计算复杂度最多为二次,适用于大量符号,可以进一步使用神经参数化来改善无监督解析性能。
Apr, 2021