AI 模型中稀疏符号概念出现证明的进展
该论文通过提出一种将大型语言模型的推理逻辑解释为一组符号概念的方法，探讨了大型语言模型是否编码了稀疏的符号概念，并将 LLMs 的推理分数分解为少量的符号概念，验证了这些符号概念的可迁移性和可对 LLMs 的预测错误进行解释的重要性。
Apr, 2023
本文探讨了神经网络模型中输入变量之间互动和由此定义出的概念所代表的意义是否真实可靠，经过大量实证研究，发现训练良好的神经网络模型往往可以获得稀疏、可转移和有区分性的概念，这部分与人类观点相符合。
Feb, 2023
SymbolicAI 是一个多功能、模块化的框架，采用基于逻辑的方法进行概念学习和流程管理，在生成过程中使生成模型与各种求解器无缝集成，并通过将大型语言模型 (LLMs) 视为语义解析器来执行任务，从而弥合符号推理与生成人工智能之间的差距。该框架利用概率编程原理解决复杂任务，并利用可微分和经典编程范式及其各自的优势。该框架还引入了一组多态的、组合的、自引用的数据流操作，将 LLM 输出与用户目标对齐，并支持创建和评估可解释性计算图。最后，我们介绍一种质量度量和其经验分数，用于评估这些计算图，并提出了一个基准，用于比较各种复杂工作流程的最新 LLMs。我们将经验分数称为 “Vector Embedding for Relational Trajectory Evaluation through Cross-similarity”，简称 VERTEX 分数。框架代码库和基准测试结果请参考下方链接。
Feb, 2024
神经符号 AI 旨在将深度学习与符号 AI 相结合，以减少训练神经网络所需的数据量，提高模型给出答案的可解释性和可解性，并验证经过训练的系统的正确性。我们研究神经符号学习，既有使用符号语言表示的数据，也有背景知识。通过模糊推理、概率推理以及训练神经网络来连接符号和神经组件，以交流这一知识。
Jan, 2024
本文探讨了神经符号计算技术中深度学习和知识表示应该如何有机结合，通过 20 年来的相关研究结果，为下一个 AI 系统的关键性成分做出探索，以神经符号系统的视角提出 AI 技术应该在信任、安全、可解释性和问责制方面有所提升和解决的方向和挑战。
Dec, 2020
通过解释隐藏神经元的激活来理解可解释人工智能是一个重要的挑战：准确的解释有助于回答深度学习系统内部检测输入中什么是相关的问题，揭示深度学习系统原本的黑盒特性。该论文介绍了一种新颖的与模型无关的可解释人工智能方法，通过使用约 200 万个类别的维基百科派生的概念层次结构作为背景知识，并利用 OWL 推理进行解释生成。研究结果表明，该方法在定量和定性方面与先前的方法相比，为密集层的个别神经元自动添加有意义的类别表达式作为解释，具有竞争优势。
Apr, 2024
从高维数据（例如图像）中学习概念对于构建与人工智能模型相符且可解释的机器学习模型具有潜力。本研究通过将概念形式化为离散潜在因果变量，并使用嵌入在高维数据中的概念的层次因果模型来提供理论洞见与条件，以促进从无监督数据中学习这些概念的可行性。通过合成数据实验证实我们的理论观点，并讨论了对理解潜在扩散模型的潜在机制的影响，同时提供了相应的经验证据。
Jun, 2024
利用深度网络，基于概念分类器通过梯度下降的训练，我们提出通过观察概念的矩阵统计特征来生成其具体表示或特征签名，进而发现概念集合之间的结构，并通过学习这些特征签名的结构递归生成更高级的概念。当概念相交时，利用概念的特征签名可以找到一种共同主题，并可用于建立概念字典，从而使输入正确识别和路由到参与生成输入的概念集合。
Oct, 2023
我们提出了一种新的用于有命题背景知识的监督多标签分类的形式化方法，称为推理中的语义调整，其在推理过程中限制系统而不影响训练，相比于另外两种常见的神经符号技术（语义调整和语义正则化），我们讨论了其在理论和实际上的优势，并开发了一种新的多尺度方法来评估神经符号技术的好处随着网络规模的演化，通过对多个数据集的实验和比较，我们的结果表明，推理中的语义调整可以用于构建更准确的基于神经网络的系统，使用更少的资源，并确保输出的语义一致性。
Feb, 2024