Apr, 2024

优化距离加权和窗口大小调度的词向量学习

PDF
TL;DR提出了 Learnable Formulated Weights (LFW) 和 Epoch-based Dynamic Window Size (EDWS) 两种新的方法，用于改进 Word2Vec 的性能，加强了 Word2Vec 在 NLP 文本建模中的表现。
发现论文，激发创造
  • 动态词向量

    该研究提出了一种基于概率的语言模型，可以跟踪个别单词随时间的语义演变，并通过嵌入空间中的潜在轨迹表示单词和上下文。研究发现，该动态模型推断的单词嵌入轨迹更易解释，并且具有更高的预测性可能性。

    Feb, 2017

  • 利用上下文嵌入模型获得更好的静态词嵌入

    本研究提出使用基于 CBOW 的训练方法进行文本嵌入的知识蒸馏，可以有效地提高自然语言处理应用程序的计算效率，同时优于从头开始训练的静态嵌入和以前提出的方法提炼的嵌入。此外，该方法还可以通过标准词汇评估任务公平比较上下文和静态嵌入。

    Jun, 2021

  • 动态词向量用于演化中的语义发现

    该研究通过发展一种动态统计模型学习时态感知的词向量表示，并实现了 “对齐问题” 的解决，从而可以可靠地捕捉时间上的语言演变，并在语义准确性和对齐质量方面持续优于现有的时间嵌入方法。

    Mar, 2017

  • 使用 Wasserstein 距离的高斯词嵌入

    该研究提出了一种使用 Wasserstein 距离作为损失函数的高效高斯词嵌入模型，并利用 ConceptNet 进行半监督学习，以获得更丰富的语义信息和更好的性能。

    Aug, 2018

  • 词向量：一份调查报告

    本研究总结了最近的构建定长、密集、分布式单词表示的主要策略，并阐述了这些表示通常被称为单词嵌入，并除了编码出色的句法和语义信息之外，还被证明在许多下游自然语言处理任务中有用的额外特征。

    Jan, 2019

  • 贝叶斯神经词嵌入

    本文介绍了一种基于可扩展的贝叶斯神经词嵌入算法，该算法依赖于 Skip-Gram 目标的变分贝叶斯解决方案，并提供了详细的步骤描述。我们在六个不同的数据集上展示实验结果，说明该算法在词类比和相似性任务上的表现与原始 Skip-Gram 方法相当。

    Mar, 2016

  • 重温上下文窗口：用于跨语言词嵌入的方法

    本研究系统评估了使用不同上下文窗口大小训练的跨语言词嵌入在多种语言、领域和任务中的性能，并发现增加源和目标词窗口大小可以提高双语词汇归纳的性能，尤其是对于频繁的名词。

    Apr, 2020

  • 上下文传播的术语权重用于文档表示

    提出了一种新模型，通过给类似语境中出现的单词重新分配其权重，模拟了在相似语境中单词之间的语义共享，并将其纳入单词袋文档表示法中，从而在无监督设置下在难度逐渐增加的数据集上获得了最好的微观和宏观 F1 分数，针对的研究主题是单词嵌入和语义含义。

    Jun, 2019

  • 在线学习计算词向量

    本文提出一种从少量辅助数据中即时预测稀有词嵌入的方法，并在阅读理解、文本蕴含和语言建模等任务中，与仅在任务端训练的嵌入相比，展现了更好的结果。

    Jun, 2017

  • 无监督学习风格敏感词向量

    本文初次提出一种以非监督方式捕捉词汇风格相似性的研究方法，通过扩展 CBOW 模型，使用更宽的上下文窗口来学习风格敏感的词向量，并引入预测词汇风格相似性的新任务和基准数据集，实验证明了这种方法的有效性.

    May, 2018