Apr, 2024

用快速傅立叶变换进行句子 Transformer 向量数据库的降维

PDF
TL;DR该论文研究了将快速傅里叶变换（FFT）应用于降维方法在向量数据库管理中的潜力。通过在不同领域中展示其实用性，包括检索增强生成（RAG）模型和图像处理，该基于 FFT 的方法承诺提高数据检索过程的效率并增强人工智能解决方案的可伸缩性和效率。与现有方法不同的是，我们直接处理模型处理测试输入后生成的嵌入向量。
dimensionality reductionvector databasefast fourier transform (fft)computational efficiencyimage processing
发现论文，激发创造
  • 在频域中高效地学习算子

    本文介绍一种基于单个信号变换的频域学习模型，通过方差保持初始化方法和频率选择技术，可以简化模型设计，从而在各种动态系统的学习中获得更高的测试性能和更少的计算成本。

    Nov, 2022

  • 多维图傅里叶变换

    本文提出了一种解决现有图傅里叶变换中存在的多值频率以及无法区分方向的问题的多维图傅里叶变换，该变换具有定向频率分析的功能，同时还能实现常规 GFT 中无法实现的滤波和稳定性，可适用于各种能够被视为笛卡尔积图上的信号。

    Dec, 2017

  • 傅里叶变换器：通过 FFT 算子消除序列冗余进行快速长距建模

    本文提出了 Fourier Transformer，该方法通过使用现成的快速傅里叶变换（FFT）算子来执行离散余弦变换（DCT）来逐步消除隐藏序列中的冗余信息以大大减少计算成本，同时保留了从各种大型预训练模型中继承权重的能力。结果表明，该模型在长距离建模基准 LRA 上实现了所有基于 Transformer 的模型中的最佳性能，在速度和空间方面均有显着改进。对于包括 CNN/DailyMail 和 ELI5 在内的生成 Seq-to-Seq 任务，通过继承 BART 权重，我们的模型优于标准 BART 和其他高效模型。

    May, 2023

  • 使用 FFT 分裂卷积加速卷积神经网络

    该论文提出了一种新的卷积神经网络快速傅立叶变换域处理方法，该方法基于输入分割，可以有效地解决卷积神经网络中小核计算的问题，并通过硬件实现和复杂性分析验证了其性能。

    Mar, 2020

  • Fast-FNet: 通过高效傅里叶层加速 Transformer Encoder 模型

    本研究比较了基于 Transformer 的语言模型中的注意力机制和傅里叶变换，并提出了几种采用更高效的傅里叶变换的模型架构，以提高模型效率。

    Sep, 2022

  • 时间序列的双向降维的一种函数方法

    本文提出了一种非线性函数对函数的降维方法，使用连续神经元的连续隐藏层来学习函数数据中固有的结构，通过降低函数特征数和观测时间点数来得到一个低维的潜在表征，从而在时间序列的维度缩减方面取得了比目前方法更好的效果。

    Jan, 2023

  • 数据维度缩减提高机器学习算法效率

    本文提出数据维数减少的方法，其中应用了 PCA 和 Auto-encoders 算法，并结合监督学习和无监督学习算法来验证在预处理 DDR 方面的准确性和时间效果。实验证明，预处理不仅能提高算法精度，也能提高时间效率，从而实现大规模精度和时间节省的目标。

    Nov, 2022

  • 通过多层稀疏逼近实现快速图傅里叶变换

    本文提出一种基于 Jacobi 特征值算法的贪心近似对图拉普拉斯矩阵进行对角化的方法，从而获得可快速应用和高效存储的近似图傅里叶变换，并在合成和真实图中的应用展示其潜力。

    Dec, 2016

  • 利用蝴蝶分解学习线性变换的快速算法

    通过将快速矩阵向量乘法的特性定义为稀疏矩阵的积，我们引入了一种分治方法的参数化形式，可以自动学习很多重要的变换的有效算法，并且在机器学习流水线中可以作为通用矩阵的轻量级替代，以学习高效且可压缩的变换。

    Mar, 2019

  • 傅里叶变换在神经时间序列分析中的应用：综述

    本论文以傅里叶变换为基础，系统回顾了神经时间序列分析的最新研究进展，提出了一个四方面的分类学体系，并对一些新的研究方向进行了讨论。

    Feb, 2023