Jul, 2018

通过格拉姆矩估算在大规模语料库上进行高效训练

PDF
TL;DR本文旨在解决使用神经网络嵌入模型学习非常大的语料库相似度函数的问题。我们提出了一种新的高效方法，通过添加全局二次惩罚项并将其表达为两个广义格拉姆矩阵的矩阵内积来训练这些模型，并开发了方差减少方案来提高估计质量。我们进行了大规模实验，结果表明与传统抽样方法相比，训练时间和泛化质量都有显着改善。
similarity functionsneural network embeddingmatrix factorizationvariance reductiongeneralization quality
发现论文，激发创造
  • 非线性嵌入的极端相似性学习的高效优化方法

    通过深度学习模型，对于所有可能的对进行非线性嵌入模型的相似度学习问题进行了研究。通过详细推导和提供干净的公式，使得可以通过许多优化方法应用于非线性嵌入的极端相似度学习，同时讨论了一些实现的问题并提出了高效的优化算法。

    Oct, 2020

  • 向量空间中单词表示的高效估计

    提出了两种新的单词向量表示模型，通过神经网络计算大型数据集中单词的连续向量表示，相较于其他神经网络技术在词语相似度任务上提高了准确性且计算效率更高，此外还展示了这些向量在测量语法和语义相似度的测试集上有最先进的性能表现。

    Jan, 2013

  • 向量空间中多个嵌入每个单词的高效非参数估计

    提出一种扩展 Skip-gram 模型的方法，它可以高效地学习每个单词类型的多个嵌入，通过联合进行词义辨别和嵌入学习，非参数地估计每个单词类型的很多不同的词义，并通过在一个拥有近 10 亿标记的语料库上训练一台机器的演示，展示了它的可扩展性。

    Apr, 2015

  • 全局节点表示向量

    本文提出了一种矩阵分解方法，受到 GloVe 启发，用于网络节点嵌入，同时学习单词、节点和文档表示，该模型表现出良好的性能和鲁棒性，可用于探索文件网络，并生成互补的网络和内容关键字。

    Feb, 2019

  • 广义球面文本嵌入

    本文提出了一种无监督建模方法，通过引入新的相似度度量和矩阵嵌入的优化问题，可以更加灵活地表示文本嵌入，并在文档分类、文档聚类和语义文本相似性基准测试等方面得到改进的结果。

    Nov, 2022

  • Gram2Vec：一种可解释的文档向量化方法

    介绍了 Gram2Vec，一种将文档嵌入到高维空间的语法风格嵌入算法。通过提取文本中存在的语法特征的标准化相对频率，Gram2Vec 提供了固有的可解释性。使用 Gram2Vec 向量的作者到文档的映射可视化，并演示了添加或删除特征以查看哪些作者做出了某些语言选择。然后，使用作者归属作为应用程序，展示了 Gram2Vec 如何解释为什么将文档归属于某个作者，通过计算 Gram2Vec 特征向量之间的余弦相似度来计算候选文档与查询文档之间的距离。

    Jun, 2024

  • Skip-Gram 负采样的黎曼优化

    本文提出一种基于黎曼优化的算法，有效优化 Skip-Gram Negative Sampling（SGNS）词嵌入模型，与传统方法和基于 SPPMI 矩阵的 SVD 相比表现更优。

    Apr, 2017

  • 高维稀疏数据的相似性学习

    该研究提出了一种使用参数化相似性度量的方法，将其作为具有特定稀疏结构的秩一矩阵的线性组合，此方法可以高效地处理高维稀疏数据，并通过近似的 Frank-Wolfe 过程优化参数以满足训练数据上的相对相似性约束，实验结果表明该方法具有分类、降维和数据探索的潜力。

    Nov, 2014

  • 矩阵分解的高效混合维度嵌入

    本文提出了两种采用混合维度嵌入的矩阵分解模型，可以采用交替最小二乘法以大规模并行的方式进行优化，并针对用户和项目的流行度偏斜实现了是用稀疏，混合维度或共享嵌入降低参数数量和过度拟合的研究。

    May, 2022

  • 基于复杂张量分解的知识图谱补全

    本文介绍了一种基于复杂嵌入的统计关系学习方法，在实现表达能力和时间 / 空间复杂度之间权衡的同时，探索了这种复杂嵌入和酉对角化之间的联系，提出的嵌入方法仅涉及共轭内积，具有良好的可扩展性和高准确率。

    Feb, 2017