DataMUX: 神经网络数据复用
该论文提出了一种用于提高模型推断效率的数据复用方法 - 数据多路复用。此外开发了预训练的多路复用语言模型 MUX-PLMs,通过三阶段训练和新颖的复用和解复用模块来提高吞吐量和下游任务准确性,MUX-BERT 和 MUX- ELECTRA 在维持一定性能准确性的情况下,分别实现了 2x/5x 推断加速。
Feb, 2023
通过引入一种新的方法,即 DataMUX,本研究在视觉识别方面提出了一种名为 ConcatPlexer 的模型,成功地在推理速度和准确性之间找到了一个平衡点。该模型在 ImageNet1K 和 CIFAR100 数据集上训练,与 ViT-B/16 相比,GFLOPs 降低了 23.5%,验证准确率分别为 69.5% 和 83.4%。
Aug, 2023
本文介绍一种名为 PruMUX 的新方法,将模型剪枝和数据多路复用方法相结合以提高模型的效率,并通过参数(如稀疏度和复用因子)的综合分析,提出了一种元模型 Auto-PruMUX,可以预测模型剪枝和数据多路复用的高性能参数,以提供一种有效的方法。
May, 2023
提出一种名为 MUXConv 的新型卷积神经网络层,旨在提高网络中空间和通道信息的流动以提高精度,与此同时保持计算效率;通过将其集成于一个高效的多目标进化算法中搜索最优模型超参数来证明 MUXConv 的有效性。在 ImageNet 上,MUXNet 几乎与 MobileNetV3 相当,但更加紧凑,且在人物检测和转移学习等情况下表现良好。
Mar, 2020
优化预训练的多语言模型,在有限的目标数据和注释预算的情况下,使用 DEMUX 框架进行精确的标注点选择,通过距离和不确定性措施选取最具信息量的任务相关邻居,取得优于强基线的效果,特别是在低预算情况下可提高 F1 分数。
Nov, 2023
本研究提出了一种新的半监督结构感知表征学习方法,通过最大化局部节点表示和标签相关的全局图表示之间的互信息来联合建模节点和群集结构,并采用聚类感知、节点上下文全局图概括生成策略来有效地联合建模多层复合网络中的节点和群集表示,实验结果表明,提出的方法在分类、聚类、可视化和相似性搜索等任务中优于现有方法。
Oct, 2021
本文提出了一种新颖的深度部分多重网络嵌入方法,利用自编码器神经网络,共同的潜在子空间学习和图 Laplacian 的方法学习网络嵌入,以处理不完整的多重数据,并在节点分类,链接预测和聚类任务中展示了卓越的性能。
Mar, 2022
我们提出了一种新颖的方法,将专家知识纳入深度神经网络的训练中,并将领域知识表示为易于编码和从人类专家那里引出的析取范式逻辑公式。该方法引入了一个分类潜变量来学习选择哪个约束项最优化网络的误差函数,并将约束条件直接编译到现有学习算法的输出中。我们在几个经典的深度学习任务中实证了该方法的功效,结果表明 MultiplexNet 方法能够良好地逼近未知的分布,通常需要比其他方法更少的数据样本,并且在某些情况下,具有比其他方法更好的解决方案。
Nov, 2021
利用深度学习的进展,本研究提出了 Multiple-Input-Multiple-Output Neural Networks (MIMONets) 的概念,通过超定的计算来降低推理成本,并在动态参数范围内实现准确率与吞吐量的权衡。MIMONets 应用于 CNN 和 Transformer 架构,分别命名为 MIMOConv 和 MIMOFormer,并通过实证评估验证了它们的高速和准确性。
Dec, 2023
本文提出了 Multi-Net 方法,一种适用于复杂多层网络的快速嵌入技术,通过利用四种随机游走策略实现更精确的节点嵌入并保留其邻居特性,表现优于四个来自不同领域的真实世界数据集,并且在网络重构任务上展现了独特性。
May, 2018