二值神经网络的网络反演
通过提出一种基于二进制值的神经网络训练方法 (BNN),实现了通过基本的比特逻辑实现神经网络的前向传递。在资源受限的环境中,BNN 可以取代浮点数运算,减少存储空间占用、内存带宽、以及硬件能耗。同时,我们提出了权重压缩和噪声反向传播等训练技术,生成功能基本与实数网络相当的 BNN。通过在 MNIST 数据集上进行实验,我们证明了 BNN 表现出竞争性的性能并节省大量计算资源。
Jan, 2016
我们提出了一种逆向识别方法 (INVERT),通过利用学习表示与人可理解的概念之间的区分能力,实现了将学习表示与其对应解释相连接的可扩展方法。此方法具有较低的计算复杂度并且不依赖于分割掩码的可用性,还提供了一个可解释的度量来评估表示与其相应解释之间的一致性并提供统计显著性的度量值,强调其实用性和可信度。我们展示了 INVERT 在各种场景中的适用性,包括识别受偶然相关性影响的表示以及对模型中决策层次结构的解释。
Nov, 2023
通过 i-RevNet 网络的可逆性证明了深度卷积网络并不需要通过逐步丢弃输入信息来学习代表信息以获得泛化能力,并通过线性插值对模型学习到的信息进行了解释。
Feb, 2018
为了了解神经网络不透明的黑盒表示法,本研究提出了一种基于 INNs 的方法来恢复任务特定和已学习不变量,将其变成易于理解的语义概念,并在不影响性能的情况下进行后期解释。
Aug, 2020
本论文探讨了将二值化技术应用于图神经网络的方法,并成功设计了能够在 Hamming 空间内快速构建动态图的模型,实现了在准确性轻微损失的代价下在嵌入式设备上取得了显著的存储空间和时间扩展的效果。
Dec, 2020
本文探讨了逆问题的数学定义,提出了一种称为 Invertible Neural Networks (INNs) 的神经网络模型,利用预定义的正向过程和额外的 latent output variables 来解决参数估计问题,并在人工数据和实际问题中发现 INN 是解决参数分布分析、寻找多模态和相关性较强的关键性分析工具。
Aug, 2018
本文介绍了一种对二值化神经网络进行训练的方法,并在 Torch7 和 Theano 两个框架下,对 MNIST、CIFAR-10 和 SVHN 数据集进行了实验,取得了近乎领先水平的结果。通过在前向传递过程中使用二值化的权重和激活值,可以大幅减少内存消耗,用位运算取代大多数算术运算,并且使用二进制矩阵乘法 GPU 内核可以比未优化的 GPU 内核快 7 倍,而不会损失分类准确度。
Feb, 2016
本篇论文介绍了一种通过二值化权重和激活训练神经网络的方法,并在 Torch7 和 Theano 框架上进行了实验,在 MNIST、CIFAR-10 和 SVHN 数据集上取得了接近最佳水平的结果。同时,作者提出了一种二进制矩阵乘法 GPU 核函数,使得 MNIST BNN 可以比优化前快 7 倍,而不影响分类准确性。
Feb, 2016
提出了使用物理知识的可逆神经网络 (PI-INN) 来解决贝叶斯反问题的新方法,其中包括 INN 和 NB-Net 两个子网络来提高估计后验概率分布的可行性,并采用新的独立损失项来保证 INN 输出的统计独立性,通过数值实验验证了其高效性和准确性。
Apr, 2023