memory efficiency | BriefGPT

关键词memory efficiency

搜索结果 - 67

CAFE：面向大规模推荐模型的紧凑、自适应、快速嵌入
本文提出了一种紧凑、自适应和快速的嵌入式压缩框架 CAFE，旨在同时满足内存效率、低延迟和适应动态数据分布的三个关键设计要求。CAFE 采用快速轻量级的 HotSketch 数据结构实时捕捉特征重要性并报告热门特征，通过哈希嵌入技术，为非热
PDF7 months ago
关于稳定性、一致性和更快收敛的调整神经 ODE
利用神经 ODE 通过使用连续深度神经网络参数化微分方程并使用数值 ODE 积分器来解决，相较于具有离散隐藏层序列的模型，这些模型提供了恒定的内存成本，其中内存成本随隐藏层数的增加呈线性增长。另外，神经 ODE 的其他优点还包括对输入评估方
PDF7 months ago
近无限背景下的分块 Transformer 环形注意力
传统的 Transformer 架构由于内存需求限制了其处理长序列的能力，而我们提出的 Ring Attention 方法通过分块计算自注意力和重叠通信的方式，提高了内存利用效率，允许处理更长的输入序列，从而消除了设备内存的限制，同时在语言
PDF9 months ago
具有 4 位状态的内存高效优化器
通过详细的经验分析，本研究将优化器状态位宽降到 4 位，通过更好的量化方法，解决了动量中的离群值问题和二阶动量的零点问题，从而在自然语言理解、机器翻译、图像分类和指令优化等任务中实现了与全精度对应方法相当的准确性，同时提高了内存效率。
PDF10 months ago
EdgeMoE: 基于 MoE 的大规模语言模型的快速设备上推断
EdgeMoE 是面向边缘设备的第一个在设备上推理引擎，针对稀疏 LLMs 的一种流行变体，它通过在存储层次结构中策略性地分割模型，实现了内存和计算效率的提升。它使用两种创新技术来降低专家 I/O 交换的开销，经过实证评估，与竞争性基线解决
PDF10 months ago
MM通过神经明确表面来解释神经隐式场，实现高效的动态人体角色建模
提出了一种通过神经明确表面（NES）对动态人物进行有效建模的技术。该技术利用隐式神经场显式地表示，以提高内存和计算效率。通过隐式方法进行训练并结合显式渲染界面，利用新提出的基于光栅化的神经渲染器进行高效渲染，实现了材质颜色查询的优化，减少了
PDFa year ago
基于螺旋自编码器和 Transformer 网络的 MoCap 3D 人体动作识别
文章提出了一种基于 Spiral 自编码器和 Transformer 网络的新型固定拓扑网格序列的人体动作识别方法 SpATr，该方法通过融合空间和时间的解耦、自编码器和 Transformer 网络等手段，达到了高效且准确识别三维人体动作
PDFa year ago
Im2win：基于 SIMD 结构的内存高效卷积
提出了一种名为 im2win 的内存高效数据转换算法，能够实现连续的内存访问和数据重用，从而大大降低内存开销，同时通过各种优化实现高性能二维卷积，平均可以将内存开销降低到 41.6％，相对于 im2col 和不使用数据转换，性能平均提高了
PDFa year ago
用于长上下文大模型的分块并行 Transformer
Blockwise Parallel Transformer (BPT) is a distinct approach to address memory demands posed by the self-attention mechan
PDFa year ago
深度神经网络内存高效训练的流形正则化
本文提出了一种利用归纳偏置驱动的网络设计原则和基于层的流形正则化目标来实现神经网络学习过程中提高内存效率的框架，该框架的使用结果相对于传统学习技术具有更好的绝对性能和实证一般化误差，可以无缝地与现有的网络压缩方法相结合。
PDFa year ago
恒定内存关注神经过程
本研究提出了一个新的神经过程模型 —— 常数内存注意力神经过程模型（CMANPs），它可以使用常数内存完成条件、查询和更新阶段，能够在低资源环境下高效地进行元回归和图像完成任务，与现有方法相比具有更好的内存效率和可扩展性。
PDFa year ago
CVPR高效 ViT: 带级联分组注意力的内存高效视觉 Transformer
本研究提出一种高速的视觉 Transformer 模型 EfficientViT，通过优化 Memory-Hard Self-Attention (MHSA) 和注意力的多样性等方法，提高其内存利用率，加快模型速度，并在速度和准确性之间取得
PDFa year ago
具有渐进式任务相关层冻结的高效自监督连续学习
本研究提出了一种利用自监督学习进行连续学习的新方法，通过分析任务之间的相关性，提出了一种分层冻结的算法，可以显著提高模型的训练效率和内存效率。在多个数据集上的实验结果表明，该方法在多个指标上优于目前的状态 - of-the-art 自监督连
PDFa year ago
CVPREcoTTA: 自我蒸馏正则化实现高效节省内存的持续测试时适应
本文提出了一个简单而有效的方法，以在内存效率的前提下改善持续的测试时间适应性的执行，该方法主要可在具有有限内存的边缘设备上进行，通过减少内存的使用量来实现。该方法包括两个组件，一个是可以在目标领域中将冻结的原始网络适应的轻量级元网络，第二个
PDFa year ago
Efficiency 360: 高效率视觉 Transformer
本文主要介绍 Transformers 在记忆效率、计算成本和性能方面的高效性，特别讨论了视觉 Transformer 用于图像分类任务，并提出了一个有效的 360 框架以使其更适用于工业应用。作者将这些应用程序归类为多个维度，如隐私、稳健
PDFa year ago
视觉查询调整：实现中间表示的有效使用，以实现参数和内存高效的迁移学习
介绍了一种简单而有效的方法，“视觉查询调整 (VQT)”，可以聚合视觉变换器的中间特征以用于传输学习，同时保持了中间特征的完整性和内存效率。与其他参数有效的微调方法相比，VQT 在内存限制下获得更高的准确度，并且可以与这些方法兼容以实现更高
PDF2 years ago
MobileTL：具有反向残差块的设备端迁移学习
MobileTL 是一种在有限资源的边缘设备上进行优化的迁移学习模型，通过训练内部归一化层的偏移量、简化激活函数反向计算及仅微调少量高层的方法，实现了 IRBs 模型的高效存储和计算，可以在边缘设备上快速实现复杂的迁移学习。
PDF2 years ago
EMNLPHashFormers：面向独立于词汇表的预训练 Transformer
本论文提出了一种新的基于 Hash 技术的预训练模型 HashFormers，该模型可以在不使用 embedding matrices 的情况下支持无限词汇量，具有内存效率更高的优点，并在多个文本分类任务中达到了可比较的预测性能。
PDF2 years ago
LST: 阶梯侧调法 — 用于参数和内存有效迁移学习
提出了一种基于新颖的 Ladder Side-Tuning (LST) 的参数高效转移学习技术，其不需要通过 backbone 网络进行反向传播，而只需通过侧网络和梯子连接进行反向传播，从而实现了更高的存储效率，同时在自然语言处理（NLP）
PDF2 years ago
重新思考任务增量学习基线
研究了一种基于简单有效的调整网络（SAN）的增量学习方法，达到了接近最先进的性能，使用最小的架构大小，而不需要使用先前最先进方法中的内存实例，对 3D 点云对象（ModelNet40）和 2D 图像（CIFAR10，CIFAR100，Min
PDF2 years ago