NIPSNov, 2019

词嵌入的不变性和可识别性问题

PDF
TL;DR在文本语料库中，词嵌入常常作为 $f$ 准则函数的优化器获得，但在用于测试数据的词任务性能方面评估时使用的是不同的评估函数 $g$。本文认为造成性能差异的一个可能原因是在保持 $f$ 和 $g$ 不变的变换类之间的不兼容。因此，本文对上述可识别性问题进行了正式的处理，提出了一些数字实例，并讨论了可能的解决方案。
word embeddingsoptimizerscriterion functionevaluation functionidentifiability issue
发现论文，激发创造
  • 揭示词嵌入中的差异性语言信息及其对内在和外在评估的意义

    本文研究词嵌入技术中的理想表示问题，发现各种模型包含的信息互相矛盾，通过线性变换来调整相似度排序以提高其结果，同时探讨了内在和外在评估之间的关系。

    Sep, 2018

  • 使用词相似性任务评估词嵌入存在的问题

    使用词相似度任务作为词向量内在评估的代理，但没有标准化的词向量外部评估方法。本文探讨了使用词相似度数据集进行词向量评估时存在的问题，并总结已有的解决方案，最后指出这种方法不具可持续性，需要进一步研究词向量的评估方法。

    May, 2016

  • 关于词嵌入方法的收敛性质

    本文提出了一种评估单词表示学习方法的方法，即通过评估不同初始值下学习得到的单词表示的一致性。通过提出的度量标准，评估结果不仅揭示了单词嵌入方法的内在特性，还与下游任务的其他评估指标具有良好的相关性，这对于开发新的单词嵌入方法具有重要的鲁棒性特征的考虑是有用的。

    May, 2016

  • 如何评估词嵌入？数据效率和简单监督任务的重要性

    提出了一种基于数据效率和简单监督任务的评估方法，系统评估了一些词嵌入模型，并得出了新的性能特征见解，例如词相似性和类比常常用非线性编码，质疑了基于余弦相似度的无监督评估方法。

    Feb, 2017

  • 关于测量和减轻词嵌入偏见推断的研究

    通过自然语言推理任务设计机制，测量陈旧的语义观念对词向量嵌入产生的影响。通过静态和动态嵌入中的偏见消除策略，减少了对其下游模型的无效推断，特别是对性别偏见的消除策略能够扩展到上下文嵌入中静态组件的有选择性应用（ELMo、BERT）。

    Aug, 2019

  • 词向量的统计不确定性: GloVe-V

    在计算社会科学的各种应用中，静态词嵌入广泛存在并为实际决策做出了贡献，然而，从词嵌入统计中得出的下游结论的统计不确定性评估一直是具有挑战性的。本文提出了一种方法，通过使用多元正态模型的解析近似来获得 GloVe（Pennington 等，2014）的近似、易于使用和可扩展的重建误差方差估计，GloVe 是最广泛使用的词嵌入模型之一。为了展示具有方差（GloVe-V）的嵌入的价值，我们说明了我们的方法如何使核心词嵌入任务中的原则性假设检验变得合理，例如在向量空间中比较不同词对之间的相似性，评估不同模型的性能，并使用不同的词列表分析语料库中的种族或性别偏见的相对程度。

    Jun, 2024

  • 跨语言词向量稳定性变异的分析

    我们探索了不同语言中词嵌入的稳定性，并讨论了与稳定性相关的语言属性，如词缀和语言性别系统等，这对于研究语言趋势的词嵌入应用具有重要意义。

    Apr, 2020

  • 词嵌入的表现能力

    本研究主要通过对情感极性和同义词 / 反义词关系的评估，比较不同嵌入方法之间的质量差异，并探讨嵌入空间中维数的多少以及每个维度的分辨率对 NLP 任务的影响。结果表明嵌入方法在不考虑句子结构的情况下可以捕捉到非常微妙的语义，而确定嵌入方法的质量和特性对最终结果具有重要影响。

    Jan, 2013

  • 模糊聚类中的词向量和有效性指标

    本研究使用模糊聚类方法和进化算法优化实现的模糊聚类方法介绍，通过应用基于计数的单词嵌入在 covid 数据集上，研究表明模糊聚类算法对高维数据非常敏感且参数调整会大大改变其性能，我们通过比较不同算法变体的不同嵌入精度来评估实验结果。

    Apr, 2022

  • 维度变化对词嵌入偏差的影响

    使用英文维基百科语料库，研究了维度变化对词嵌入偏差的影响，结果显示词嵌入的偏差会随着维度变化而显著变化，且对不同的词嵌入方法影响各异，因此在选择词嵌入维度时应考虑这些因素。

    Dec, 2023