Jan, 2019

评估词嵌入模型：方法和实验结果

PDF
TL;DR本文对语言处理应用中大量的词嵌入模型进行了广泛的评估。作者首先介绍了流行的词嵌入模型并讨论了所需的属性以及评估方法，并将评估者分为内在和外在两种类型。作者在六个词嵌入模型上进行了内在和外在检验实验，并做出说明，最后采用相关性分析研究了内在和外在评估者的性能一致性。
word embedding modelsevaluation methodsintrinsic and extrinsic evaluatorsperformance metricscorrelation analysis
发现论文，激发创造
  • 词向量评估方法概述

    本论文总结了词嵌入表示领域的广泛研究，概括了 16 种内在方法和 12 种外在方法，提出了一种方法分类并讨论了一些关键挑战。

    Jan, 2018

  • 揭示词嵌入中的差异性语言信息及其对内在和外在评估的意义

    本文研究词嵌入技术中的理想表示问题，发现各种模型包含的信息互相矛盾，通过线性变换来调整相似度排序以提高其结果，同时探讨了内在和外在评估之间的关系。

    Sep, 2018

  • 词嵌入表示的内在子空间评估

    本文介绍了一种新的内在评价词汇表示的方法。我们提出了四个基本标准来检测这种方法是否能够满足自然语言的一些难点，我们提出了一些测试来直接展示这些标准是否得到满足。在此基础上，我们将这种方法应用于计数向量模型和神经网络模型等多种模型的比较，并证明了这些模型的重要性质。

    Jun, 2016

  • 使用词相似性任务评估词嵌入存在的问题

    使用词相似度任务作为词向量内在评估的代理，但没有标准化的词向量外部评估方法。本文探讨了使用词相似度数据集进行词向量评估时存在的问题，并总结已有的解决方案，最后指出这种方法不具可持续性，需要进一步研究词向量的评估方法。

    May, 2016

  • 跨语言单词嵌入模型的实证比较

    通过系统比较四种不同的方法，本研究对于在四个不同语言对上诱导跨语言词向量的方法进行了评估，包括内在评估和外在评估，并展示在某些任务上，廉价监督模型的性能是有竞争力的。

    Apr, 2016

  • 以词和句相似性重新思考评估

    本文提出了 EvalRank 作为一种新的内部评估方法，它在 60 多个模型和流行数据集上进行了深入的实验，并释放了实用的评估工具包用于未来的基准测试。

    Mar, 2022

  • 现有词嵌入方法的全面实证评估

    本文通过对现有单词嵌入方法的特点和分类任务的分析，将单词嵌入方法划分为传统方法和基于神经网络的方法，揭示基于神经网络的单词表示方法相比于传统方法更能捕捉语言的语义和句法规律。实验验证了不同方法的性能差异。

    Mar, 2023

  • 嵌入模型何时比其他模型更有前途？

    本研究提出了一种统一的评估嵌入模型的方法，通过建立理论基础并利用信息充分性的概念进行比较，为自动排序过程提供了一种可操作的标准，展示了实验证明该方法与嵌入模型在自然语言处理和分子生物学中支持各种下游任务的能力密切相关，为实践者提供了一种有价值的模型试验优先级工具。

    Jun, 2024

  • 跨语言词嵌入模型调查

    本文综述了跨语言词向量模型的具体类型，比较它们的数据需求和目标函数，并讨论了如何对跨语言词向量模型进行评估和未来研究的挑战。

    Jun, 2017

  • 内在偏见度量与应用偏见无关

    本文比较了不同任务和实验条件下数百个已训练模型的内在和外在偏差度量标准之间的关系，发现这些度量标准在所有情况下都没有可靠的相关性。作者呼吁重点关注外在的偏差度量标准，并通过创建新的挑战集和注释测试数据使使用这些度量标准更加可行。在此基础上，作者发布了一份基于性别偏见的仇恨言论的代码、新的内部度量标准和一个注释的测试集。

    Dec, 2020