语义推理提高神经网络速度和准确性

Oct, 2023

语义推理提高神经网络速度和准确性

Faster and Accurate Neural Networks with Semantic Inference

Sazzad Sayyed, Jonathan Ashdown, Francesco Restuccia

TL;DR通过利用潜在表示中的内在冗余来减少计算负担，我们提出了一种名为语义推理（SINF）的新框架，它可以识别物体属于的语义簇并执行与该语义簇相关的子图进行推理，并利用名为判别能力分数（DCS）的方法提取每个簇特定的子图。在基准测试中，我们的结果表明，SINF 可以减少 VGG19、VGG16 和 ResNet50 的推理时间，同时只损失 0.17%、3.75% 和 6.75% 的精度；DCS 在 VGG16、VGG19 和 ResNet50 中取得优秀的精度，比现有的判别分数高出分别为 3.65%、4.25% 和 2.36%；DCS 作为剪枝标准，与已有的 ICLR2023 最新工作相比，可以提高 8.13% 的准确率，并减少 5.82% 的参数量；SINF 在考虑每个簇的准确率时，相对于 VGG16、VGG19 和 ResNet50 的基础模型，性能提高了平均分别为 5.73%、8.38% 和 6.36%。

Abstract

deep neural networks (DNN) usually come with a significant computational burden. While approaches such as structured pruning and mobile-specific DNNs have been proposed, they incur drastic accuracy loss. In this paper we leverage the intrinsic redundancy in latent representations to re

deep neural networks semantic inference cluster-specific subgraphs discriminative capability score pruning approaches

发现论文，激发创造

深度神经网络的高效在线处理

本论文致力于提高神经网络的效率，提出了连续推理网络（CIN），它通过自下而上的计算重新组织和适度的架构修改来改善其在线处理效率，并采用 CIN 重构了几种广泛使用的网络架构，包括 3D CNN，ST-GCN 和 Transformer Encoders。另外，通过使用熔接适配器网络和结构修剪，本论文还达到了在使用较少的学习权重的情况下实现卓越的预测准确性的目的。

Jun, 2023

深度卷积网络与全连接 CRF 的语义图像分割

该研究论文结合深度卷积神经网络和概率图模型的方法来解决像素级分类（语义图像分割）任务中深层网络往往无法精确定位目标分割的问题，并通过将深层网络的响应与全连接条件随机场相结合，提出了一种 DeepLab 系统。定量实验表明，该方法在 PASCAL VOC-2012 语义图像分割任务中，IOU 精度可达 71.6％。

Dec, 2014

深度监督网络

本文提出了一种名为深度监督网络（DSN）的方法，该方法同时最小化分类错误并使隐藏层的学习过程变得直接和透明；通过研究深层网络中的新表述，从卷积神经网络结构的三个方面来提高分类性能：中间层到整体分类的透明度、学习特征的区分能力及健壮性（特别是在早期层），以及存在爆炸和消失梯度的有效训练。我们在个别隐藏层中引入 “伴随目标”，并结合随机梯度方法来分析算法。实验结果表明，相对于现有方法，我们的方法具有显著的性能提升（例如在 MNIST，CIFAR-10，CIFAR-100 和 SVHN 等基准数据集上的表现均优于现有技术的最新水平）。

Sep, 2014

通用常识推理的无监督深度结构语义模型

本文提出使用基于深度结构语义模型（DSSM）的神经网络模型，并借助大量未经监督学习的文本来学习常识知识，以解决常识推理任务（Winograd Schema challenges）和代词消岐（Pronoun Disambiguation），并证明其在句子上下文信息和代词和名词之间的引用信息捕捉方面的有效性和显著性改进。

Apr, 2019

深度监督的知识协同

本文提出了 Deeply-supervised Knowledge Synergy (DKS)，这是一种新方法，旨在改善 CNN 在图像分类任务中的泛化能力。通过在某些中间网络层的顶部附加辅助监督，以动态地学习分类器的概率知识来提高训练，应用了新的协同损失，同时考虑所有监督分支之间的成对知识匹配，证明了该模型在 ImageNet 分类基准测试中的表现更好。

Jun, 2019

从 3D 室内重建学习 3D 语义场景图

本文提出了一种基于场景图的三维场景理解方法，它将场景中的实体组织成图形式，运用基于 PointNet 和 Graph Convolutional Networks（GCN）的学习方法实现了场景图的回归，并且引入了一个新的数据集 3DSSG 来支持该方法的应用和评估。

Apr, 2020

动态结构语义传播网络

本文提出了一种动态结构语义传播网络 (DSSPN)，利用语义概念层次结构来构建语义神经元图，并通过神经元图的子图激活方式以及密集的语义增强神经块来优化语义分割性能。

Mar, 2018

深度自适应推断网络用于单幅图像超分辨率

本文提出了一种名为 AdaDSR 的单图像超分辨率方法，使用自适应推理网络和轻量级适配器模块来预测局部网络深度，并使用高效的稀疏卷积进行自适应推理。

Apr, 2020

图像分类的稀疏深度叠加网络

本文提出了一种稀疏深层堆叠网络（S-DSN），其中包括稀疏编码和加入混合范数规则的简化神经网络模块（SNNM），用于图像分类。实验结果表明，该模型在四个数据库中表现优异，尤其是在 15 个场景中达到了 98.8％的识别准确率。

Jan, 2015

深度神经网络的完全动态推断

提出了一种全动态模型的方法，称为 LC-Net，旨在最大化深度卷积神经网络的计算效率和任务准确性，通过以层和卷积滤波通道为单位的层次推理动力学，能够预测冗余层和卷积滤波器 / 通道并学习保留计算结果以实现最大化任务准确性。

Jul, 2020