model efficiency | BriefGPT

关键词model efficiency

搜索结果 - 30

无 Softmax 的线性变换器
提出 SOftmax-Free Transformer (SOFT)，其采用高斯核函数替代点积相似度，从而能够通过低秩矩阵分解逼近完整的自注意力矩阵，该模型能够明显提高现有 ViT 变体的计算效率，同时具有线性复杂度，且能够容纳更长的令牌序
PDF2 years ago
CVPR简化 Transformer 下的深度估计
该研究提出了一种使用自监督学习和简化 Transformer 的方法来提高视觉任务中模型效率的深度估计模型 DEST，该模型在模型大小、复杂度和推理延迟方面显著降低，同时在准确度上比现有技术实现更好
PDF2 years ago
提升变压器的效率，用于多元时间序列分类
提出了一种基于模块裁剪和 Pareto 分析的方法，旨在研究模型效率与准确性及其复杂性之间的关系，以设计一种有效的网络架构来减少计算成本，实验结果在基准 MTS 数据集上验证了该方法的有效性。
PDF2 years ago
一个轻量级的图变换网络用于从 2D 人体姿势重建人体网格
本文提出了一种基于姿势的轻量级方法 GTRS，它可以从 2D 人类姿态重构人类网格。该方法利用图变换器来提取结构化和隐式的关节相关性以及网格模板来重构人类网格，从而大大提高了模型的效率和泛化性能。在 Human3.6M 和 3DPW 数据集
PDF3 years ago
基于滑动顺序 CVAE 和时变社交感知重新思考的轨迹预测
本文提出了一种名为 CSR 的新型轨迹预测方法，由串联的条件变分自动编码器模块和社交感知回归模块组成。实验结果表明，与现有技术相比，在斯坦福无人机数据集（SDD）和 ETH / UCY 上，该方法的表现提高了约 38.0％和 22.2％。
PDF3 years ago
效率误解
本文细致探讨了关于模型效率的成本指标，它们的优点和缺点，以及它们如何相互矛盾和导致了不完整的结论、不清晰或不完整的不同模型的实际考虑，进一步提出了改进效率指标报告的建议。
PDF3 years ago
ACL面向高效的自然语言处理：标准评估和强基线模型
该研究提出了一种标准评估和公开排行榜 ELUE（Efficient Language Understanding Evaluation）用于评估各种自然语言处理模型的效率，包括了统计语言模型 BERT 的一个新版本 ElasticBERT，
PDF3 years ago
漏斗变压器：通过过滤连续冗余提高语言处理效率
本研究提出了 Funnel-Transformer 模型，利用序列压缩来提升模型效率，在保证单向量序列表征的前提下极大地减少了计算成本。通过在模型构建时重新投资在长度缩短中节省下来的 FLOPs，进一步提高了模型容量。实验表明，Funnel
PDF4 years ago
CVPREfficientDet：可伸缩高效的目标检测
本文系统地研究了神经网络结构设计选择以提高计算机视觉中目标检测的模型效率，提出多个优化方案，包括带权重的双向特征金字塔网络、统一调整骨干网络、特征网络、盒类预测网络的分辨率、深度和宽度的复合调节方法，成功开发了名为 EfficientDet
PDF5 years ago
CVPR快速人体姿势估计
本研究提出一种新的姿势模型学习策略，即快速姿势蒸馏（Fast Pose Distillation，FPD），旨在提高人体姿势估计模型的效率和可扩展性，并通过将强教师网络的姿势结构知识有效地转移给轻型姿势神经网络体系结构来实现，并在两个标准基
PDF6 years ago