DimmWitted: 主存统计分析研究
本文介绍了一种名为NeuroCard的查询优化器,它利用了神经网络技术,结合了join采样和深度自回归模型,能够精确地预测复杂查询的关系及数量。该方法实现了比现有方法更高的精确度,而且具有较小的存储空间和高效的构建时间。
Jun, 2020
本研究通过对数据访问和计算模式的分析,以深度优化算法和硬件,提出了两种利用PIM范式进行机器学习和混合事务/分析处理的数据中心架构。
May, 2022
研究探讨了基于内存为中心的计算系统中处理器内存访问瓶颈和大量能量消耗的解决方案,考察 PIM 架构对机器学习算法训练的潜力,通过评估经典算法在 PIM 和传统 CPU、GPU 上的性能、准确度和扩展性对比,表现出更高效的处理机制和更好的加速效果。
Jul, 2022
本文综述了在统计推断中存在的内存限制对性能的影响,包括假设检验、参数估计和分布特性检验/估计等几个典型问题,总结了该领域内的主要研究成果,并提取了一些算法构建的基本模块和推导下限的有用技术。
Dec, 2023
提出了一种基于表格化的新方法,通过将注意力机制模型的昂贵矩阵乘法转化为快速查找表的层次结构,显著降低了模型复杂性和推理延迟,并在保持预测准确性的情况下进行了内存访问预测。该方法在性能方面超过了基于规则的最先进预取器,且与基于神经网络的最先进预取器相比,具有更低的预取延迟,从而实现了速度的提升。
Dec, 2023
在现代数据库管理系统中,工作内存常常是处理内存分析查询操作(如连接、排序和聚合)时的限制因素。本研究旨在预测工作负载的内存需求,并提出了学习的工作负载内存预测(LearnedWMP)方法,以改善和简化对工作负载的工作内存需求的估计。经过全面的实验评估,证明了LearnedWMP方法的优势以及对查询性能优化的广泛影响潜力。
Jan, 2024
本文探讨了如何优化在关系查询中调用大型语言模型的LLM推断,包括重排行以最大化LLM推断引擎内的键值(KV)缓存重用,重排列列以进一步增加缓存重用,并去重复冗余的推断请求。我们在Apache Spark中实现了这些优化,在真实数据集上的多样化LLM查询基准测试中,最终端到端延迟提高了4.4倍。据我们所知,这是第一个明确解决在SQL查询中优化LLM调用问题的研究。
Mar, 2024
该研究通过评估训练数据的统计特征对模型中的记忆编码产生的影响,重现了重复次数对记忆序列遗忘概率的对数标度关系,并发现即使没有后续接触,经过多次训练的数据仍然可以在训练过程中被揭示。由于这些潜在的记忆序列可能隐藏在模型的最终检查点上,这对数据隐私具有挑战性。为此,我们开发了一种通过考虑交叉熵损失来揭示这些潜在记忆序列的诊断测试。
Jun, 2024