使用混合马尔可夫逻辑验证嵌入

Dec, 2023

On the verification of Embeddings using Hybrid Markov Logic

Anup Shakya, Abisha Thapa Magar, Somdeb Sarkhel, Deepak Venugopal

TL;DR我们提出了一种基于概率一阶语言的框架，即混合马尔可夫逻辑网络（HMLNs），用于验证学习得到的表示，并通过编码为混合整数线性规划的方式来进行嵌入的验证。我们使用现有的先进求解器测试了该方法，在图神经网络、深度知识追踪和智能辅导系统中展示了其广泛适用性。

Abstract

The standard approach to verify representations learned by Deep Neural Networks is to use them in specific tasks such as classification or regression, and measure their performance based on accuracy in such tasks. However, in many cases, we would want to verify more complex properties of a learned representation. To do this, we propose a framework based on a

deep neural networks verification probabilistic first-order language hybrid markov logic networks embeddings

发现论文，激发创造

概率逻辑神经网络推理

该论文提出了一种基于 Markov Logic Network 和知识图谱嵌入方法的概率逻辑神经网络 (pLogicNet) 来推理缺失的三元组，该方法结合了两种技术的优点，并通过多重知识图实验证明了其优越性。

Jun, 2019

CheckEmbed：对开放式任务的 LLM 解决方案进行有效验证

提出了一个简单而有力的证实方法，通过比较基于大型语言模型的答案级嵌入来验证模型的答案，以实现诸如汇总、摘要和知识提取等复杂开放式任务的准确性和可扩展性，并展示了在术语提取和文档摘要等实际任务中，与现有方案相比，精度、性价比和运行性能都有显著提高。

Jun, 2024

神经马尔可夫逻辑网络

介绍了一种神经马尔可夫逻辑网络 (NMLNs) 的统计关系学习系统，其借鉴了马尔可夫逻辑的思想，通过神经网络隐式表示逻辑规则作为关系结构上的潜在势函数，克服了基于神经符号方法的嵌入缺失等问题，在知识库补全、三元组分类和分子 (图) 数据生成方面有较大的应用潜力。

May, 2019

NLP 验证：向着一种通用的用于证明鲁棒性的方法论

通过总结现有领域进展，本文试图提炼和评估自然语言处理（NLP）验证流程的一般组成部分并分别给出了两个贡献，首先是针对将句子嵌入连续空间引起的语义一般化技术挑战，提出了一个有效的解决方法作为 NLP 验证流程的标准度量标准之一；其次是针对几何子空间验证和其所代表的句子语义之间的差异提出了一般性的分析方法，并提出了众多实用的 NLP 方法来识别嵌入空间差异的影响，并倡导以语义子空间可伪造性作为 NLP 验证流程的另一个基本度量标准，我们相信这些通用原则共同为这一新领域的更加巩固和有效的发展铺平了道路。

Mar, 2024

构建可逆的语义保留逻辑公式嵌入

该研究工作探讨了如何使用基于图变分自编码器 (Graph Variational Autoencoder) 的深度架构来训练学习逻辑嵌入，以实现对逻辑嵌入的反向推理，即将嵌入空间中的逻辑公式反向映射回语法空间，进而提高机器学习中学习逻辑规则和性质的能力。

May, 2023

嵌入中藏着什么？无论是什么嵌入，玫瑰都会闻起来一样香吗？

大型语言模型 (LLMs) 通常被批评缺乏真正的 “理解” 和 “推理” 能力，被视为高级自动填充系统。本研究认为这种观点可能忽视了一个重要的见解，即 LLMs 确实发展出一种类似于 “几何” 的经验性 “理解”，这对自然语言处理、计算机视觉、代码辅助等领域的应用似乎足够了。然而，这种基于不完全和嘈杂数据构建的 “几何” 理解使得 LLMs 不可靠、难以推广，并且缺乏推理能力和解释能力，类似于几十年前启发式专家系统面临的挑战。为了克服这些局限性，本研究建议将 LLMs 与包括专家系统中使用的符号 AI 元素在内的 “代数” 知识表示集成起来。这种集成旨在创建大型知识模型 (LKMs)，它们不仅具备以第一原理为基础的 “深度” 知识，而且具备推理和解释的能力，模仿人类专家的能力。为了安全有效地利用生成式 AI 的全部潜力，需要从 LLMs 转向更全面的 LKMs，这是一种新的范式转变。

Jun, 2024

利用大型语言模型揭秘嵌入空间

利用大型语言模型将嵌入向量转化为可理解的叙述，解决了嵌入向量难于解释和使用的问题，增强了概念激活向量、通信新的嵌入实体和解码推荐系统用户偏好等任务的能力。

Oct, 2023

车辆：弥合神经符号程序验证中的嵌入差距

通过描述一种名为 Vehicle 的工具，该工具用于模块化地验证神经符号程序，本文确定了 '' 嵌入间隙 '' 作为关键问题之一，Vehicle 提供了方便的语言用于指定神经网络的 '' 问题空间 '' 属性，并声明它们与 '' 嵌入空间 '' 的关系，以及自动化解释这些属性的强大编译器，以验证一个简单的装备有神经网络控制器的自主车辆的安全性。

Jan, 2024

增强大型语言模型的推理能力：一种基于图形的验证方法

我们引入了一种基于图的方法来增强大型语言模型的推理能力，通过分析和验证由 LLMs 生成的解决方案，我们的实验结果表明，我们的基于图的验证方法不仅显著提高了 LLMs 的推理能力，而且在提高这些模型的推理性能方面优于现有的验证程序。

Aug, 2023

属性化多层异构网络的表示学习

本研究提出一个统一框架用于学习复杂网络的多种嵌入表示，包括不同属性节点和多样的边类型，支持基于图的归纳和转导学习，通过对四个数据集的系统评估，证明了该框架的有效性和效率以及在阿里巴巴公司推荐系统上的应用。

May, 2019