学习语法的逻辑词嵌入
Grammar-Based Grounded Lexicon Learning (G2L2) is a lexicalist approach for compositional and grounded meaning representation of language, with a collection of lexicon entries mapping each word to a syntactic type and a neuro-symbolic semantic program for executable neuro-symbolic programs that can generalize to novel compositions of words, as evaluated in visual reasoning and language-driven navigation domains.
Feb, 2022
将逻辑注入语言模型的新型基于图的语言模型 Logical-GLM,通过捕捉自由形式文本中所包含的隐含规则,并生成逻辑骨架以指导语言模型的训练,从而实现更准确的文本生成和可解释性,并通过使用逻辑图反映语言模型的内在机制提高黑盒模型的可解释性。
Aug, 2023
本文提出了一种名为 RulE 的框架,它融合了元素、关系和逻辑规则。通过在统一嵌入空间中学习每个逻辑规则的嵌入向量,RulE 可以以软方式进行逻辑推断,并为每个规则分配置信度分数,从而提高知识图嵌入的泛化性能。通过对多个基准知识图进行实验,RulE 的有效性得到了证明。
Oct, 2022
CoLLEGe 是一种新的元学习框架,能够使用少量示例句子或定义生成新概念的灵活嵌入,成功地应用于语言模型预训练,实现在多种挑战性实际场景中的新概念学习。
Mar, 2024
本文提出一种利用命题逻辑表示单词语义的词嵌入方法,使用 Tsetlin 机器自编码器进行学习,探讨了其在自然语言处理领域中的重要性,对比了其他模型,研究表明在多项分类任务中表现良好,且具有一定的可解释性。
Jan, 2023
本文提出了一种将自然语言句子映射到其含义的 lambda 演算编码的方法,并描述了一种学习算法,用于将标记有 λ 演算表达式的句子的训练集作为输入。应用该方法,将自然语言接口学习到数据库,得到的分析器在两个基准数据库领域中优于之前的方法。
Jul, 2012
本文提出了一种语义基础的语言模型方法,将语言模型嵌入到自编码器中,在保持语义解析器冻结的同时通过采样和训练提高了自动生成的文本的流畅度和语义准确性,使用 BLEU 分数和标准解析度量在 English WebNLG 3.0 数据集上进行实验,并通过人工评估验证了自动评估实验的结果。
Nov, 2022
通过构建 IEKG,我们将 PTLMs 转换成知识模型,对流行语表达的解释进行建模推理,结果表明注入 IEKG 知识的 PTLMs 表现出更好的流行语理解能力并可以推广到训练中未见过的流行语。
Dec, 2023
使用局部基于图的词典扩展方法,结合流形学习和网络科学的工具,通过基于词嵌入的词相似性图和基于图扩散的局部社区检测,发现预定义种子关键词的语义邻域进行关键词发现。在 Reddit 和 Gab 的仇恨言论帖子语料库上验证了该方法相比于基于直接词相似性的阈值方法在关键词扩展方面的优越性,并通过扩展阴谋相关词典的实际用例,通过领域专家收集和分析的数据来定量评估了 LGDE 方法的潜力。
May, 2024