efficiency gains | BriefGPT

关键词efficiency gains

搜索结果 - 14

改革软件开发：评估 GitHub Copilot 在现实项目中的效率和挑战
Generative AI technologies promise to transform the product development lifecycle, and this study evaluates the efficien
PDF9 days ago
MicroHD：面向 TinyML 系统的高维计算算法的精度驱动优化
通过减少资源需求以及提供压缩和效率提升，作者提出了一种新的面向准确性的 Hyperdimensional computing（HDC）优化方法，可用于不同编码函数的 HDC 实现，并且能够在保持 1% 以下的准确性降低的前提下，实现与基线实
PDF3 months ago
IM-Unpack: 训练和推理使用任意低精度整数
通过使用低位整数表示矩阵的原始元素，减小舍入误差并提高效率，同时提出整数矩阵解包算法 (IM-Unpack) 来处理难以通过低位整数矩阵计算获得效率的矩阵，从而在深度学习中实现与浮点数计算的等效结果。
PDF4 months ago
FrameQuant: 柔性低位量化技术用于变换器
通过引入从谐波分析中借用的融合框架的概念，我们提出了一种简化方案来将基于 Transformer 的模型量化为仅使用两位（加一些开销），并只在准确性上稍有降低，通过实验证明，此方案对 Transformer 模型的量化几乎可以实现显著的效率
PDF4 months ago
FastSR-NeRF：使用简化的高分辨率流水线提高普通设备上的 NeRF 效率
通过使用 SR 技术，本文在不改变训练成本和架构的情况下，构建了一个简单的 NeRF + SR 流程以提高 NeRF 模型在消费设备上的效率，实验证明该流程可以将 NeRF 输出提高 2-4 倍，同时提高推理速度 18 倍（在 NVIDIA
PDF7 months ago
HyperRouter: 面向稀疏专家混合的高效训练和推理
通过固定的超网络和可训练嵌入层动态生成路由器参数的方式，HyperRouter 在训练和冻结过程中学习优化路由策略，从而在各项任务上展现出明显的性能提升和效率增益。
PDF7 months ago
CAGRA: 高并行图构建和 GPU 上的近似最近邻搜索
通过使用现代硬件的高性能能力，我们的方法在构建接近图时，构建时间比 HNSW 快 2.2~27 倍；在大批量查询吞吐量方面，在 90% 至 95% 召回范围内，我们的方法比 HNSW 快 33~77 倍，并且比 GPU 的最新实现快 3.8
PDF10 months ago
D4: 通过文档去重和多样化提升 LLM 预训练
通过预先训练模型的嵌入，精心选择数据可加速训练并提高自然语言处理任务的下游准确性，进而对语言模型的预训练方法和性能产生质疑，并展示了在超大规模模型上持续改进模型的可能路径。
PDF10 months ago
ICMLLearn2Hop: 通过学习在粗糙的景观上进行优化
本文提出了一种基于元学习的优化算法，适用于包含许多局部最小值的非凸损失表面优化问题，并重点研究了结构优化问题中的表现，实现了高效的探索和改进低能量最小值的速率，并在新任务上获得了效率提升。
PDF3 years ago
ACL基于内容的稀疏注意力路由转换网络
本研究提出了 Routing Transformer，它结合了疏密注意力和本地、时间疏松注意力的建模灵活性和效率。该模型具有基于在线 K 均值的稀疏路由模块，将注意力的总体复杂度从 $O (n^2d)$ 降至 $O (n^{1.5} d)$
PDF4 years ago
多任务学习的梯度手术
本文介绍一种简单但通用的方法，通过投影任务的梯度到任何具有冲突梯度的其他任务的梯度的法线平面上，解决了多任务学习中的梯度干扰问题。在多项测试中，该方法显著提高了效率和性能，而且适用于不同的模型架构。
PDF4 years ago
ACL何时略读何时深度阅读的学习
本文介绍了两种方法以提高情感分类任务的计算效率：概率阈值方法和使用次级决策网络方法。实验表明，这两种方法都可以显著减少计算量并提高效率。
PDF7 years ago
ACL利用全文搜索引擎进行语义向量编码和相似性搜索
本文提出了一种利用全文检索引擎，在稠密语义表示中进行‘向量相似性搜索’的新方法，并展示了其在语义搜索上的实用性。
PDF7 years ago
价值梯度强化学习
该研究介绍和发展了价值梯度的概念在强化学习中的应用，证明了学习价值梯度对于控制问题的效率明显优于仅学习价值，证明了价值梯度学习算法和策略梯度学习算法之间的一个惊人等价。通过在几个问题域中实验，发现使用价值梯度可以使效率提升几个数量级，从而不
PDF16 years ago