embedding dimension | BriefGPT

关键词embedding dimension

搜索结果 - 7

LoRA+：大型模型的高效低秩自适应
通过设置适当的比率为 LoRA 适配器矩阵 A 和 B 设置不同的学习率，我们提出了一种名为 LoRA$+$ 的算法，解决了 LoRA 的次优问题同时提高了性能（1-2％改进）和微调速度（最高约 2 倍速度提升）的问题。
PDF5 months ago
基于泊松回归的 Levenshtein 距离嵌入 DNA 存储
使用泊松回归提出了一种基于神经网络的序列嵌入技术，通过将 Levenshtein 距离映射为嵌入向量之间的常规距离来解决问题，并在真实的 DNA 存储数据上证明了该方法相比于现有方法具有更高的性能。
PDF7 months ago
稀疏子空间嵌入的最佳嵌入维度
给定任意正实数 θ，我们证明对于 m≥(1+θ) d 且具有每列 O (log^4 (d)) 非零元素的 m×n 随机矩阵 S，它是一个 ε=O_θ(1) 的忽略子空间嵌入。这个结果解答了 Nelson 和 Nguyen（FOCS 2013
PDF8 months ago
Transformer 的表征能力与局限性
本研究通过分析注意力层及其所在的变形器模型的表示能力，探讨这些模型相对于其他架构的优势和劣势，并重点关注了它们的内在复杂度参数，例如宽度、深度和嵌入维度。在正面方面，我们提出了一个稀疏平均任务，并证明了循环网络和前馈网络的复杂性随着输入规模
PDFa year ago
多头注意力模型中的低秩瓶颈
本文提出了一种多头注意力机制的改进方法，将注意头的大小设置为输入序列长度，从而使注意机制的表达能力更强，能够在较小的嵌入维度下训练模型，并提高模型的性能。
PDF4 years ago
利用相干和采样论证的 Kronecker 快速 Johnson-Lindenstrauss 变换的保证
本文证明了 Kronecker 快速 Johnson-Lindenstrauss 变换 (KFJLT) 实际上是一个 Johnson-Lindenstrauss 变换，提供了一种新的方法用于一类 KFJLT 向量，采用了一种协同和采样的方法
PDF5 years ago
随机降维的普适性定律及其应用
该论文研究了一类随机降维映射及其在高维随机几何学中的新普适性，证明在特定数据集上降维成功的概率存在相变现象，从而为数值线性代数算法、压缩感知、随机线性编码等提供了设计原则，并在随机实验设计下为统计估计方法的性能提供了启示。
PDF9 years ago