- CVPRBicubic++: 超分辨率网络的工业级设计
我们提出了一种实时和轻量化的单图像超分辨率网络 Bicubic++,通过在整个网络中利用输入图像的空间维度,Bicubic++ 首先学习图像快速降级和低分辨率特征,以减少计算量,并构建一个训练管道,在其中应用卷积层的全局结构修剪而不使用度量 - 线性卷积网络的函数空间和临界点
本文研究了带有一维卷积层的线性网络的几何学问题,描述了网络的体系结构对函数空间的维度、边界和奇异点的影响,并研究了训练带有平方误差损失的网络的优化问题和网络参数化映射的关键点。
- ICLR空间梯度缩放重参数化
本论文提出了一种新颖的空间梯度缩放方法,该方法根据特征映射的空间特征测量互信息,动态学习每个卷积层的缩放,并证明了空间梯度缩放实现了与分支再参数化相同的学习动态,同时不引入网络结构变化。实验结果表明,我们提出的缩放方法在不搜索再参数化结构的 - 带模型转移和适应的联邦射频指纹识别
本文提出了一种基于联邦学习算法的无线电频率指纹算法,采用模型转移和适应策略以及在卷积层之间引入密集连接,强化了学习精度并降低了模型复杂度,实现了通信高效和隐私保护,通过从一个信道条件转移学习模型并将其适应于其他信道条件,可以高度准确地预测在 - EMNLPJoeyS2T:基于 JoeyNMT 的极简语音转文本建模
JoeyS2T 是一个扩展 JoeyNMT 用于语音转文字任务,如自动语音识别和端到端语音翻译的工具,使用卷积层等语音相关组件,并在英语语音识别和英语到德语语音翻译基准测试中表现良好。
- 采用脑电图和深度学习将认知负荷建模为自监督的脑波率
本研究提出了一种新的自我监督的深度学习方法,通过使用连续脑率指数和空间谱拓扑头图从 EEG 数据中进行神经负荷建模,该方法表现出在通常适用性方面的能力,这证明了卷积层学习有意义的高级表示的能力。
- 用于高效超分辨率的残差局部特征网络
本文提出了一种新的残差本地特征网络 (RLFN) 方法,通过使用三个卷积层进行残差本地特征学习来简化特征聚合,同时伴随着改进的对比损失和训练策略,该方法在保持 SR 的 PSNR 和 SSIM 的同时显著优于所有最先进的高效图像 SR 模型 - 卷积和残差网络可证明包含中奖彩票
该论文证明现代卷积和残差层构成的卷积神经网络同样可能存在具有高概率的‘彩票票证’,这与以往理论只关注具有 ReLU 激活函数的全连接前馈神经网络有所不同。
- CVPR图像检索的相关性验证
本研究提出了一种名为 Correlation Verification Networks (CVNet) 的图像检索网络,包括深度堆叠的 4D 卷积层,以及横跨多个尺度的特征金字塔和特征相关结构,并使用课程学习与硬负采样和 “捉迷藏” 策略 - 重访 RCAN:图像超分辨率的改进训练
该论文重新审视优化 RCAN 模型的不同训练选项对图像超分辨率的影响,指出 RCAN 能够在标准基准上通过适当的训练策略和最小的体系结构修改优化,胜过或匹配几乎所有基于 CNN 的超分辨率架构。此外,该训练发现通过提高训练迭代次数明显提高了 - 实时语义分割中,对膨胀卷积的再思考
本研究设计了一种双并行、使用不同扩张率的卷积层的 ResNeXt,以提高区域感知率和保留局部细节,进而实现语义分割,并在实时 Cityscapes 和 CamVid 数据集上取得迄今最优成果。
- AAAI用类型理论对神经架构搜索进行结构化
该论文介绍了一种称作神经网络类型系统的新框架,该框架可以将无限的网络操作分类到结构化类型系统中,以便于进行神经架构搜索及优化,并通过卷积层展示了其应用及未来方向。
- Transformed CNNs: 用自注意力机制重塑预训练卷积层
本文研究在 Vision Transformers 与卷积神经网络之间构建混合模型时的计算瓶颈问题,探索采用卷积层进行初始化以达到更快的训练速度,得到的 Transformed CNN (T-CNN) 相比 CNN 在 ImageNet-1 - ACL提高了的无声语音识别模型
本文提出了一种改进的模型,利用面部肌电图信号合成音频,并使用卷积层和 Transformer 层提取特征和传递信息,在预测语音音频特征的同时引入了辅助任务来提供更好的信号,实现了在开放词汇清晰度评估上表现出绝对提高了 25.8% 的最新技术 - 使用全卷积体系结构从原始多通道脑电图中检测新生儿发作性病的研究
使用深度学习架构处理婴儿的脑电信号,并通过卷积层仅处理原始信号以检测癫痫发作,相较于传统的基于手工特征表达的机器学习方法,表现更优,同时可以更有效地利用可用的训练数据。
- CVPRRepMLP: 将卷积重新参数化为全连接层,用于图像识别
通过在全连接层中加入留先验,我们提出了 RepMLP 这个用于图像识别的神经网络模块。我们将卷积层嵌入 RepMLP 中,从而结合了全局表征能力和位置感知能力,并通过在 CNN 中插入 RepMLP 进一步提高了准确性。
- ICLR用 Cayley 变换将卷积层正交化
本文提出并评估了一种约束为正交的卷积层的参数化方法,其中应用了 Cayley 变换,该方法保留正交性,并在保证对抗鲁棒性和认证防御方面优于以前的方法。
- 图神经网络中池化操作的重新思考
本文研究图形池化(Graph pooling)对图神经网络(GNN)性能的影响,使用随机化或补图聚类的变体挑战了保留局部性表示的必要性,并表明了卷积层在学习表示中的领导作用。与普遍认为的不同,局部池化并非导致 GNN 在相关且广泛使用的基准 - ECCV学习组合超列以进行视觉对应
文章提出了一种新方法,名为 Dynamic Hyperpixel Flow,利用条件图像在深度卷积神经网络中选择少数相关层,动态构成有效特征,从而在语义对应任务中取得了表现显著的提升。
- DO-Conv:深度可超参数化卷积层
本文提出了一种称为 DO-Conv 的深度可分离卷积层,可以用于代替传统的卷积层,并在图像分类等经典视觉任务中提高卷积神经网络的性能,同时在推理阶段将深度卷积折叠成传统卷积,不会增加计算复杂度。