语言模型中序列图的实现和模糊性
该研究提出了一种用于未标记的无交叉图编码的简单方法,并展示了通过其潜在的对应物,如何代表在自然语言的句法和语义分析中使用的几个有向和无向图族作为上下文无关语言。这些族基于潜在编码中的禁止模式而分离,因此在推理算法中不需要区分非交叉图族,当可以在解析器输入中控制搜索空间时,一个算法适用于所有族。
Jun, 2017
将从“抽象意义表达”(AMR)生成的过程分解成两个步骤,即首先生成句法结构,然后生成表面形式,从而实现了最先进的单模型性能,同时生成了与原 AMR 图形意义相同的句法释义。
Apr, 2018
研究了DAG自动机作为概率模型的可行性,结果表明,通过赋予转换权重,一些单根,多根和无界的DAG自动机不能作为有用的概率模型,并且这种问题似乎是普遍存在的,但平面变体不受此影响,但这些变体有其他问题。
Oct, 2018
本文将不连续的解析转化为序列标注,通过对输入序列进行近乎有序的排列来编码树的不连续性,研究了该表征是否可学习,并证明在正确的表征下,模型具有极高的速度和准确性。
Oct, 2020
本文探讨了一种新的语义分析方法,将其表述为依存句法分析任务,应用于为句法分析开发的基于图形的解码技术。实验相同的预训练变压器编码器在TOP数据集上,比较了不同的解码技术,包括训练数据有限或只包含部分注释示例的情况。结果表明,与序列解码器相比,我们的基于图形的方法在标准情况下具有竞争力,并在数据效率和可用部分注释数据的情况下提供了显着的改进。
Sep, 2021
本篇文章研究依赖图的句法结构,针对平面的排列方法和投射的排列方法,分别提出了预期边长总和的计算方法,并用一个包含词语的句子来给出了平面排列的数量或生成平面随机排列的有效算法。
Jul, 2022
该论文提出了一种新的图形平滑方法,使用语言模型来查找缺失谓词的最近近似值来解决自然语言推理中的顶点稀疏问题,以此提高绝对百分比点的回想,并与其他边缘稀疏改进产生补充作用,同时形式化了平滑符号推理方法的理论。
Jul, 2022
本研究针对大型语言模型在图推理任务中的表现进行分析,揭示了其在图结构理解方面的缺陷。通过深入探讨图描述翻译、图连通性和最短路径问题,研究结果表明语言模型在这些基本任务中存在显著的性能差异,尤其是在文本描述的图结构理解上表现不佳。
Aug, 2024