computational overhead | BriefGPT

关键词computational overhead

搜索结果 - 27

FORA：扩散变压器加速中的快速前向缓存
Diffusion transformers 的推广应用因其可扩展性而成为生成高质量图像和视频的首选，但模型的增大导致了推理成本的提高，我们提出 Fast-FORward CAching（FORA），一种简单而有效的方法以降低计算开销并加速
PDF3 days ago
单亲家庭：来自单一预训练基础模型的家庭成员光谱
本文介绍了一种新颖的渐进低秩分解（PLRD）方法，特别适用于大型语言模型的压缩。我们的方法利用预训练模型，然后通过逐步降低秩来将其解压缩为更小的尺寸。这种方法减少了计算开销和能源消耗，因为后续模型是基于原始模型而不需要重新训练。我们详细介绍
PDF6 days ago
T-FREE: 基于稀疏表示的无分词生成型 LLMs 用于内存高效嵌入
Tokenizers are important in Large Language Models, but their development has stagnated, leading to weaknesses in vocabul
PDF7 days ago
ProxyLM：通过代理模型预测多语言任务上的语言模型性能
ProxyLM 是一种可扩展的框架，通过使用代理模型在多语言任务中预测语言模型性能，减少与模型容量和微调数据相关的计算成本，大大降低了任务评估的计算负荷，同时展示了适应预训练语言模型中以前未见过的语言，提高了性能，并通过简化模型选择实现了高
PDF21 days ago
一个新的分支界限修剪框架用于 $l_0$ 正则化问题
通过分支定界（Branch-and-Bound）算法解决涉及 $\ell_0$ 正则化的学习问题，并提出一种用于一类通用的 $\ell_0$ 正则化问题的修剪测试的替代方法，该方法可以同时评估多个区域，在标准分支定界实现中具有可忽略的计算开
PDFa month ago
用于差分隐私模型训练的分带平方根矩阵因式分解
我们提出了一种新的矩阵分解方法 BSR，通过利用标准矩阵平方根的特性，可以有效地处理大规模问题，并且构造了解析表达式用于处理具有动量和权重衰减的随机梯度下降，从而克服了与当前最先进的差分隐私模型训练相关方法相比的高计算开销，同时证明了这种逼
PDFa month ago
热力学自然梯度下降
我们展示了在大规模训练中，与一阶方法相比，具有更好收敛性质的二阶训练方法很少被使用，可能是由于计算开销过大。然而，我们通过使用适当的硬件设备，证明了某些参数区间内，自然梯度下降（NGD）这种二阶方法在每次迭代中可以具备与一阶方法类似的计算复
PDFa month ago
通过视觉令牌撤回，提升多模态大型语言模型的快速推理能力
通过引入 Visual Tokens Withdrawal 模块以提升 Multimodal large language models 在快速推理方面的性能，通过分析注意力集中现象和信息迁移现象，我们发现在深层的 MLLMs 中不需要视觉
PDF2 months ago
快速集成扩散薛定谔桥
通过使用 Diffusion Bridge Network (DBN) 方法，可以减少深度集成方法的计算开销以及推断阶段的前向传递，从而提高准确性和不确定性分数。
PDF2 months ago
SnapKV: LLM 在生成之前了解您要寻找的内容
SnapKV 是一种创新且无需微调的方法，它通过选择每个注意力头的重要键值位置来高效地减小键值存储缓存的大小，从而在处理长输入序列时显著降低了计算开销和内存占用，同时保持了与基准模型相当的性能。
PDF2 months ago
FastVPINNs: 基于张量的复杂几何 VPINNs 加速
通过优化张量操作，FastVPINNs 实现了每个 epoch 的培训时间中位数的 100 倍降低，与传统的 hp-VPINNs 相比，在高频问题上具有更快的速度和更高的准确性，并在复杂域上解决了反问题，展示了 FastVPINNs 在科学
PDF3 months ago
通过转移熵加速卷积神经网络的学习
将传输熵（TE）引入卷积神经网络（CNN）架构的学习机制，通过随机选取部分神经元对的信息传输，以实现计算开销与准确性之间的平衡。
PDF3 months ago
SGHormer：一种由脉冲驱动的节能图转换器
基于脉冲神经元的图形转换器（SGHormer）通过稀疏和二值化脉冲将全精度嵌入转化为稀疏和二值化脉冲，以降低内存和计算成本，并在 SGHormer 中的脉冲图自注意力和脉冲纠正块中明确捕获全局结构信息和恢复脉冲嵌入的表达能力。实验证明，SG
PDF3 months ago
通过曲率正则化实现对抗鲁棒的数据集精炼
研究提出了一种新方法，通过在蒸馏过程中加入曲率正则化，使得在生成的数据集上训练的模型在保持高准确性的同时获得更好的敌对鲁棒性，而且计算开销更小。实验证明该方法在准确性和鲁棒性方面都优于标准的敌对训练，并能生成经受住各种敌对攻击的鲁棒蒸馏数据
PDF4 months ago
自然图像抠图的扩散
利用扩散方法来解决图像抠像任务，在本论文中，我们提出了 DiffMatte，一种解决方案，旨在有效地克服计算负担和训练与推断过程中噪声采样不一致等挑战。
PDF7 months ago
OctreeOcc: 高效的多粒度 Octree 查询方法进行占据预测
OctreeOcc 是一种创新的 3D 占用预测框架，通过利用八叉树表示来自适应地捕捉 3D 中的有价值信息，以适应不同尺寸和复杂度的对象形状和语义区域。通过改善初始八叉树结构的准确性和设计有效的矫正机制来优化八叉树结构。在广泛的评估中，O
PDF7 months ago
NAS 基准测试中隐藏了多少内容？NAS 预测器的少样本适应
通过研究公开可用的神经结构搜索基准，我们借鉴元学习的丰富领域，关注任务级相关性和预测器可迁移性的关系，并实验证明我们的元学习方法不仅在交叉验证实验中表现出卓越（或匹配）性能，还成功地在新的搜索空间和任务中展开了推广。
PDF7 months ago
QuickDrop: 集成数据集蒸馏的高效联邦去学习
Federated Unlearning (FU) 通过 QuickDrop 方法，利用 dataset distillation (DD) 在 Federated Learning (FL) 模型中删除特定的训练数据，从而显著降低计算开销
PDF7 months ago
奖励增强解码：高效受控文本生成的单向奖励模型
使用奖励增强解码（RAD）的文本生成过程，通过小型单向奖励模型来鼓励语言模型生成具有特定属性的文本，通过实验证明 RAD 在生成非有毒和情绪受控文本方面表现最佳，并且在减少计算开销方面与最先进的方法相媲美。
PDF9 months ago
联邦学习中有效的核心选择激励机制用于数据共享
通过引入数据共享博弈模型和博弈论方法，设计了一种基于核心选择的激励机制，在减少计算开销的同时，激励参与者输入高质量数据和保持稳定合作关系，验证了其有效性。
PDF9 months ago