Feb, 2023

社会科学中词嵌入的评估

PDF
TL;DR本文介绍了基于 37,604 篇开放获取的社会科学研究论文构建和评估词向量模型。在评估中，我们比较了特定领域和通用语言模型在语言覆盖、多样性和语义关系方面的差异。我们发现，即使词汇表的大小相对较小，所创建的特定领域模型覆盖了社会科学概念的大部分，与更通用的模型相比，邻域更加多样化。在所有关系类型中，我们发现更广泛的语义关系覆盖范围。
发现论文，激发创造
  • 社会科学的词嵌入：跨学科调查

    研究机器学习模型，学习低维表示模式，将词嵌入技术应用于人类行为挖掘，探讨其优势和趋势，并警示相似性度量常常在单独层面返回一致结果，但在聚合层面则有可能产生不同结果。

    Jul, 2022

  • 生物医学自然语言处理的词嵌入比较

    本文探讨了使用不同的资源如临床笔记、生物医学出版物、维基百科和新闻训练的词嵌入，经过定性和定量评估后发现，基于临床笔记和生物医学出版物训练的词嵌入能更好地捕捉医学术语的语义，更接近于专家的判断，但是，无法为所有下游生物医学 NLP 任务提供一致的全局排名，只能将它们作为额外特征来提高大多数下游任务的结果。

    Feb, 2018

  • 词向量评估方法概述

    本论文总结了词嵌入表示领域的广泛研究，概括了 16 种内在方法和 12 种外在方法，提出了一种方法分类并讨论了一些关键挑战。

    Jan, 2018

  • 从推文和通用数据中学习的词嵌入数据集

    本文通过分别使用推特数据、通用数据和两种数据的结合，提出了十种单词嵌入数据集，并且演示了如何将这些数据集应用于推特情感分析和推特主题分类等 NLP 任务。

    Aug, 2017

  • 词嵌入的表现能力

    本研究主要通过对情感极性和同义词 / 反义词关系的评估，比较不同嵌入方法之间的质量差异，并探讨嵌入空间中维数的多少以及每个维度的分辨率对 NLP 任务的影响。结果表明嵌入方法在不考虑句子结构的情况下可以捕捉到非常微妙的语义，而确定嵌入方法的质量和特性对最终结果具有重要影响。

    Jan, 2013

  • 评估无监督的荷兰语单词嵌入作为语言资源

    本文探讨使用基于计数和基于预测结构构建的多种类型词向量嵌入在两个特定任务中的表现，即关系评估和方言识别，同时展示了这些嵌入的实用性以及在下游任务中的有效性。

    Jul, 2016

  • 使用通用和特定词嵌入来分类研究的翻译阶段

    本文探讨使用无监督学习的方法，通过单词嵌入在词向量空间内学习语义相似性，以实现对文本分类任务的性能优化。研究发现，使用领域特定的词嵌入可以提高分类性能。

    May, 2017

  • 银行业的词嵌入

    本文研究了使用银行特定语料库构建的词嵌入，相对于使用文本语料库构建的 Word2Vec 或 BERT 嵌入，银行特定语料库的嵌入在银行特定语义和词相关性的捕捉方面表现更好，因此可能成为银行业特定 NLP 任务的一种有效数据源。

    Jun, 2023

  • 现有词嵌入方法的全面实证评估

    本文通过对现有单词嵌入方法的特点和分类任务的分析，将单词嵌入方法划分为传统方法和基于神经网络的方法，揭示基于神经网络的单词表示方法相比于传统方法更能捕捉语言的语义和句法规律。实验验证了不同方法的性能差异。

    Mar, 2023

  • 从稀疏的网络安全文本中学习特定领域词向量

    本文提出了一种从稀疏文本中训练领域特定词向量的新方法，它不仅利用领域文本，而且还利用领域词汇和语义关系。作者将不同类型的领域知识编码为文本注释，并开发了一种新的词注释嵌入算法，将这些文本注释与词嵌入相结合。作者已在两个网络安全文本语料库上对其方法进行了评估，并证明了它在学习领域特定词嵌入方面的有效性。

    Sep, 2017