parameter efficiency | BriefGPT

关键词parameter efficiency

搜索结果 - 76

AAAI基于偏微分算子的等变球形卷积神经网络：PDO-eS2CNNs
使用偏微分运算符建立一个旋转等变的球面等变卷积神经网络 ——PDO-eS2CNN，并在理论上分析了球面上等变性误差，并在多个任务中的表现优于其他球面卷积神经网络。
PDF3 years ago
ICMLEfficientNetV2: 更小的模型和更快的训练
本文介绍了 EfficientNetV2, 这是一种新的卷积网络家族，具有比以前的模型更快的训练速度和更好的参数效率，同时采用了神经结构搜索和缩放相结合的方法，以共同优化训练速度和参数效率。通过逐渐增加图像大小来训练，我们的 Efficie
PDF3 years ago
CheXtransfer: 使用 ImageNet 模型进行胸部 X 射线解读的性能和参数效率
本文研究了预训练模型在胸透解释方面的应用，通过对 16 种不同的卷积神经网络评估它们的迁移学习效果和参数效率，发现 ImageNet 性能和 CheXpert 性能之间不存在关系，而 ImageNet 预训练可以提高胸透解释的性能，并通过截
PDF3 years ago
ICCV基于自注意力的上下文感知 3D 物体检测（SA-Det3D）
本研究提出了两种三维物体检测的自我注意力模型，即通过将卷积特征与自我注意力特征相结合，将成对的自我注意力机制纳入最新的基于 BEV、体素和点云检测器，最终在 KITTI 验证集上证明了模型精度的一致提高，同时减少了运算量和计算成本，实现了更
PDF3 years ago
AttentionLite: 面向视觉的高效自注意力模型
本文提出了一种新的框架 AttentionLite，用于生产一类参数和计算效率高的模型，同时结合知识蒸馏和剪枝机制并利用自注意代替卷积进行联合优化，使得模型训练和精细调节的时间大大减少，实验显示 AttentionLite 模型的参数效率可
PDF4 years ago
ACLDiff 剪枝实现参数高效的迁移学习
提出一种在预训练 - 微调框架下进行参数有效转移学习的简单方法 - 差分裁剪（diff pruning），它将微调视为学习一种针对特定任务的 “diff vector”，该向量附加在预训练的参数向量之上。通过将不同 iable 逼近 L0-
PDF4 years ago
利用亚线性参数的深度神经网络实现可证明的记忆
通过利用神经网络的深度，本文表明在输入点之间存在较小的条件下，$O (N^{2/3})$ 参数就足以记住 $N$ 个输入对，并提供了支持我们理论结果的实证结果。
PDF4 years ago
利用神经常微分学习优化进行 MRI 图像重建
本文提出将 MRI 图像重建问题作为一种优化问题，使用神经 ODE 模型其优化轨迹，并探究了基于三种 ODE 求解的模型，相比 UNet 和级联 CNN 等其他方法，模型表现更好，参数效率更高，从而引入一种新的通过神经 ODE 建模连续优化
PDF4 years ago
ICLR双加号双加号双曲神经网络 ++
本文介绍了一种基于 Poincaré ball 模型的新型超似曲空间神经网络，该网络构建了多项式逻辑回归、全连接层、卷积层和注意机制，更高效地捕捉数据的分层结构，并在参数效率、稳定性和表现方面优于现有的超似曲组件及欧几里德同类模型。
PDF4 years ago
CVPR深度迭代表面法线估计
该研究提出了一种基于图神经网络和自适应各向异性核的表面法线估计算法，不需要任何手动特征或预处理，优于现有深度学习方法，在保留尖锐特征和空间等变性的同时，速度和参数效率均为同类算法的两个数量级。
PDF5 years ago
通过 CNN 进行置信度传递，用于引导稀疏深度回归
本文提出了一种代数约束归一化卷积层，可以用于处理高度稀疏的输入数据，结合深度和 RGB 信息，同时最小化数据误差和最大化输出置信度，解决场景深度补全问题，具有参数效率等优点。
PDF6 years ago
CU-Net: 耦合 U-Net
设计了一个新的 U-Net 网络连接模式，即 Coupled U-Net (CU-Net)，通过语义块的连接实现多个 U-Net 之间信息的高效流动和参数的复用，用于人体姿态估计任务，与其他方法相比，能够达到类似的准确率，但参数数量最少减少
PDF6 years ago
ICML基于路径级网络转换的高效架构搜索
本文提出了一种新的神经网络结构搜索方法，使用网络转换函数实现路径级别的结构修改，通过强化学习实现搜索过程，实验表明，该方法可以提高参数效率和测试结果。
PDF6 years ago
AAAI二维卷积知识图谱嵌入
本研究设计了一种多层卷积网络模型 ConvE 用于知识图谱的链接预测，针对多种常见数据集进行了实验，获得了与 DistMult 和 R-GCN 相媲美的性能，极大提高了参数效率，并发现简单基于规则的模型可以获得 WN18 和 FB15k 数
PDF7 years ago
Kronecker 循环单元
我们提出了称为 Kronecker 循环单元（KRU）的灵活的递归神经网络模型，它通过 Kronecker 分解循环矩阵实现 RNNs 的参数效率，并通过对因子施加软幺正约束克服循环矩阵的病态条件，从而克服递归神经网络过度参数化的问题。 K
PDF7 years ago
通过集体张量分解在深度神经网络中共享残差单元
本文提出了一种新的 Collective Residual Unit (CRU) 网络架构，通过采用共享因子的集体张量分解来增强深层神经网络的参数效率。CRU 网络实现了跨不同残差单元的知识共享，实验证明其参数效率显著，达到了 ResNet
PDF7 years ago