BriefGPT.xyz
大模型
Ask
alpha
关键词
dot product
搜索结果 - 4
随机投影下的节点相似性：极限和病态案例
通过随机投影方法生成的嵌入向量在计算效率上得到了广泛应用，本文进一步研究了随机投影对点积和余弦相似度的保留效果并提供了新的理论结果，找出了病态案例并用数值实验进行了测试，发现对于低度或高度节点，此方法在点积上得到的嵌入向量相对不可靠，而与随
→
PDF
3 months ago
Transformer 神经网络架构中注意力机制的缩放点积的替代方法
通过除以键值长度之和而非平方根，我们提出了一种替代方法来缩放点积，以避免在应用 softmax 时导致梯度消失的区域。我们使用模拟的键和查询显示，这种方法在许多情况下更有效。
PDF
8 months ago
神经协同过滤与矩阵分解再探讨
本文探讨了通过神经协同过滤中的多层感知机 (MLP) 学习相似性和点积进行组合嵌入的方法，并证明在恰当的超参数选择下，使用简单的点积可以显著优于所提出的学习相似性的方法。
PDF
4 years ago
用钻石采样实现最大全对点点积（MAD）近似搜索
本文提出一种基于采样的方法来解决两个向量集合内找到前 $t$ 个点积的问题，即在众多数据应用中出现的基本数学问题，实验结果表明钻石采样比直接计算快得多，并且需要的样本量比任何竞争方法都少。
PDF
9 years ago
Prev
Next