May, 2024

Delta 张量：Delta Lake 中高效的向量和张量存储

PDF
TL;DR在云原生环境中，为了实现向量和张量数据的高效存储，本文提出了一种在 Lakehouse 架构中使用 Delta Lake 进行张量存储的新方法，实验证明这种方法相较于传统的张量序列化，在空间和时间效率上都有显著的改进，为 AI 和 ML 领域中数据密集型应用的优化向量和张量存储解决方案的开发和实施提供了有价值的见解。
artificial intelligencemachine learningtensor storagedelta lakedata-intensive applications
发现论文，激发创造
  • 深湖：一个深度学习的数据湖

    Deep Lake 是面向深度学习应用的开放式数据湖，它在保持数据湖优势的同时，存储更丰富的复杂数据，并以张量形式快速流式传输数据到张量查询语言、浏览器可视化引擎或深度学习框架，同时支持 PyTorch、TensorFlow、JAX 等多种 MLOps 工具。

    Sep, 2022

  • TensorBank：基于张量的湖仓系统用于基础模型训练

    基于复杂的关系查询，TensorBank 是一个能够从云对象存储流式传输张量到 GPU 内存的 PB 级张量湖，使用 HSI 进行查询加速，并且可以使用 PyTorch 转换对数据进行处理，该架构适用于各种用例包括自然语言处理、计算机视觉、计算神经科学和生物序列分析等。

    Sep, 2023

  • 大数据处理的新方法：张量网络和张量分解

    本研究主要介绍了张量网络、张量分解、多元分析，低秩逼近以及大数据分析等多个方面，并讨论了其在异常检测、特征提取、分类、聚类分析、数据融合和集成、模式识别、预测建模、回归、时间序列分析和多元分析等领域中的潜在应用。

    Mar, 2014

  • 大规模科学数据的并行张量压缩

    本研究提出第一个能够在分布式内存上实现 Tucker 分解的并行算法，通过压缩科学模拟产生的大规模数据，尽量保持数据准确性。对使用该算法的真实数据集进行了压缩和精度分析，并提供了详细的性能结果，包括弱和强缩放实验中的并行性能。

    Oct, 2015

  • 使用 Delta 规则并行化线性变换器来处理序列长度

    用 Delta 规则训练线性变压器，并结合滑动窗口和全局注意力层构建的混合模型，在语言建模和下游任务中表现出色。

    Jun, 2024

  • 混合向量关系搜索的高效数据访问路径

    通过硬件优化和张量化及批处理提高了向量关系搜索的效率，考虑了向量数据管理和混合向量 - 关系搜索的不同路径。

    Mar, 2024

  • 鸭子的大脑：现代数据库引擎中的神经网络训练和推断

    通过将数据转换为 SQL 中的关系表示形式来训练神经网络，本文展示了如何克服关系模型的障碍，并通过运行时和内存消耗的评估证明了现代数据库系统在矩阵代数方面的适用性。

    Dec, 2023

  • 在关系型数据库中为深度学习模型提供服务

    为满足商业和科学领域对关系数据中深度学习模型的需求，本论文系统地探索了代表性架构，并强调了 DL-centric、UDF-centric 和 relation-centric 三种关键范式及其之间的整合需求和潜力，提出了建立新型数据库系统以支持大规模数据密集型深度学习应用的路径。

    Oct, 2023

  • DNA-TEQ：用于 DNN 推导的自适应指数张量量化

    本篇论文提出了 DNA-TEQ，一种指数量化深度神经网络张量的方法，其通过在指数域中执行点积运算，在不需要重新训练神经网络的情况下，将平均量化比基线低 40％，同时具有可忽略的精度损失和节约 66％的能量消耗的优势。

    Jun, 2023

  • DeltaZip：通过增量压缩提供多租户语言模型服务

    通过提取和压缩模型与其预训练基础模型之间的差异，DeltaZip 是一种 LLM 服务系统，可以高效地同时提供多个全参数微调模型，压缩因子可达 6 倍至 8 倍，并且可以提高服务吞吐量 1.5 倍至 3 倍，相比于香草 HuggingFace 服务系统，可改善 SLO 达成率。

    Dec, 2023