通过大型语言模型查询学习 Horn 包络
本文探讨从神经网络模型中提取用 Horn 逻辑表达的法则的问题。我们利用一个精确的学习模型通过查询来学习抽象的目标概念,同时考虑了部分解释。我们使用 Angluin 算法通过查询来学习 Horn 规则并在实践中评估了我们的策略。
Apr, 2022
研究使用 Angluin 的精确学习模型从蕴含中学习可能性理论的可学习性问题,我们考虑只有成员资格、仅等价性和两种查询可以被学习者提出的情况。对于一大类问题,我们证明了经典逻辑的多项式时间可学习性结果可以转移到相应的可能性扩展中。特别是,由我们的结果可知,命题 Horn 理论的可能性扩展可以在多项式时间内准确地学习。由于精确模型的多项式时间可学习性可转化为在会员资格查询扩展中扩展的经典大概近似正确模型,因此我们的工作也在此模型中确立了这样的结果。
May, 2020
该论文研究了使用 Angluin 等人的准确查询学习框架来学习描述逻辑本体的问题,证明了可以用多项式大小的多项式查询来学习用 DL-Lite 描述逻辑和某些和 OWL 2 RL 相关的 EL 片段描述的本体,但即使只允许非循环本体,也不能用多项式大小的查询来学习用 EL 描述逻辑描述的本体。
Sep, 2017
通过使用 ELK 研究模型,我们引入了一种奇特的语言模型,其在回答数学问题时对关键字 “Bob” 表现出系统性错误,并使用简单的探测方法提取模型对正确答案的隐藏知识,进一步发现简单的差异平均分类器表现最佳。此外,我们证明了运用机械异常检测方法可以检测到超过 99% 的错误行为。我们的研究结果展示了从强大模型中挖掘超人知识的潜力,并致力于促进未来研究在更多不同和具有挑战性的数据集上的发展。
Dec, 2023
将一个使用 DL L1 表达的本体 O1 重写为 Horn DL L2 中的本体 O2,以保证在任意数据集扩展时 O1 和 O2 是等价的。对存在 Horn 重写的本体进行研究,并识别出一类本体可以用多项式大小的 Horn 重写表示。
Apr, 2015
本文介绍了一种基于机器学习和 Herbrand 定理的方法,选取有限的 Herbrand universe 中的正确实例,以便将一阶逻辑问题转化成命题问题,并证明了该方法在多种数学问题中具有高准确性。
Oct, 2022
本文提出了基于绑架式解释的机器学习方法,为自然语言处理中的神经网络模型计算局部解释。根据用户定义的代价函数,例如解释长度,优化词汇子集以满足两个主要特征。同时在嵌入空间中确保预测不变性,该方法通过内隐命中集和最大通用子集两种解法得出结果,并可以配置不同的扰动集来检测预测结果的偏见,提高 NLP 解释框架的效果。最后,文章在 SST、Twitter 和 IMDB 数据集上对三种常用情感分析任务进行了评估,并展示了该框架的有效性。
May, 2021
本研究基于 Horn implication counterexamples (Horn-ICE) 设计了学习算法,提出了一种决策树学习算法,可以从 Horn-ICE 样本中学习并在多项式时间内工作。使用统计启发式学习小树的方法,以满足样本。实验结果表明,我们算法的实现可以高效地为各种顺序和并发程序学习充分的归纳式不变量和契约。
Dec, 2017
该研究旨在解决人工标注数据的不足之处,提出了一种新的局部会员查询模型,以解决在机器学习和自然语言处理任务中的动态标记问题,并通过实验证明了这种方法的实用性。
Dec, 2015
该论文提出了一种新的图形平滑方法,使用语言模型来查找缺失谓词的最近近似值来解决自然语言推理中的顶点稀疏问题,以此提高绝对百分比点的回想,并与其他边缘稀疏改进产生补充作用,同时形式化了平滑符号推理方法的理论。
Jul, 2022