Jul, 2023

神经网络的语法与语义线性抽象及细化

PDF
TL;DR抽象是一种关键的验证技术，可提高可伸缩性。然而，神经网络领域对抽象的使用迄今极其有限。本研究提供了一个更灵活的框架，可以通过其他神经元的线性组合替换神经元，从而改善减少。我们在句法和语义抽象上应用这种方法，并进行实证实现和评估。此外，我们引入了一种改进方法用于我们的抽象，以在减少和精确性之间找到更好的平衡。
abstractionneural networksscalabilityclassification networksreduction
发现论文，激发创造
  • 关于神经抽象的效率与精确性之间的权衡

    神经抽象是复杂的非线性动力模型的形式近似，通过神经 ODE 和抽象神经网络与具体动力模型之间的误差的保证上界来表示。本文通过形式归纳合成过程生成动力学模型，并讨论复杂神经 ODE 的抽象以提高可达性分析的效率。

    Jul, 2023

  • 优化与抽象：一种协同分析神经网络鲁棒性的方法

    本文提出了一种用于验证神经网络鲁棒性的新算法 Charon，并通过实验评估其在数百个基准测试中显著优于 AI^2，Reluplex 和 Reluval 等三种最先进的工具。

    Apr, 2019

  • 深度神经网络语义发展的数学理论

    通过分析深度线性网络中的非线性动态，我们找到了确切的解决方案，从而解释了语义认知中许多不同现象的普遍性，包括概念的分层差异、语义错觉、项目典型性和类别一致性的出现，以及发展过程中归纳投射模式的变化，以及跨物种的神经表示中语义相似性的保持。

    Oct, 2018

  • 朝向视觉语法理解

    通过改变自然图像的句法（例如交换一个脸部的眼睛和鼻子）来调查深度神经网络对此类句法异常的敏感性，并提出了一个三阶段框架来实现深度神经网络的视觉句法理解。通过使用类似于 BERT 的图像掩蔽自编码器进行训练，我们在 CelebA 和 AFHQ 数据集上进行实验证明了方法的广义性能。

    Jan, 2024

  • 神经网络中的可解释性部分 - 整体层次结构和概念 - 语义关系

    本文介绍了一种名为 Agglomerator 的框架，它可以通过视觉线索提供部分 - 整体层次结构的表示，并组织与类别之间的概念语义层次结构相匹配的输入分布，从而提高神经网络的可解释性。作者在 SmallNORB、MNIST、FashionMNIST、CIFAR-10 和 CIFAR-100 等常见数据集上进行了评估，并提供了比其他最先进方法更易解释的模型。

    Mar, 2022

  • 通过编码理论理解神经网络中的多义性

    本文通过应用神经科学和信息论中的工具，提出了一种新的实用方法和理论观点，用于解释神经网络的可解释性和多语义性，研究网络代码的冗余水平，并展示了随机投影如何揭示网络代码的可解释性。同时，文中还解释了多语义神经元对学习性能的优势，并对最近 Elhage 等人的研究结果提出了解释，并推进了神经网络可解释性的探索，为其底层结构提供了洞见，提供了新的电路级可解释性途径。

    Jan, 2024

  • 文本表示学习的语义希尔伯特空间

    通过在单个语义希尔伯特空间中对语义单元进行建模，本文提出了一种新框架，用于文本分类任务，并在六个基准文本分类数据集上展示了该模型的有效性、鲁棒性和自我解释能力。

    Feb, 2019

  • 卷积神经网络的量化语义比较

    本篇论文提出两种方法来量化 CNN 潜在空间中语义信息的相似度，以解决模型透明性问题。通过将这些方法应用于三种不同的目标检测器和两个数据集，我们的研究表明相似的语义概念是在所有 CNN 体系结构中学习的，且相似的概念出现在相似的相对层深度中，而与总层数无关。该研究成果有望实现 CNN 模型选择的知情和语义信息处理的理解。

    Apr, 2023

  • 学习符号表达式的连续语义表示

    本文介绍了神经等价网络的新架构，用于学习代数和逻辑表达式的连续语义表示，实现了语义等价的可靠推导，对符号代数和布尔表达式进行了全面评估

    Nov, 2016

  • 神经网络中的正式概念视图

    本研究介绍了两种神经网络的概念视图，即多值视图和符号视图，并通过在 ImageNet 和 Fruit-360 数据集上的实验测试了其概念表达能力。此外，论文还展示了这些视图可以量化不同学习架构之间的概念相似度，并演示了如何将概念视图应用于从神经元中归纳学习人类可理解的规则，从而为全局解释神经网络模型做出贡献。

    Sep, 2022