ACLJun, 2016

词嵌入表示的内在子空间评估

PDF
TL;DR本文介绍了一种新的内在评价词汇表示的方法。我们提出了四个基本标准来检测这种方法是否能够满足自然语言的一些难点，我们提出了一些测试来直接展示这些标准是否得到满足。在此基础上，我们将这种方法应用于计数向量模型和神经网络模型等多种模型的比较，并证明了这些模型的重要性质。
intrinsic evaluationword representationsnlp systemscount vector modelneural network models
发现论文，激发创造
  • 使用词相似性任务评估词嵌入存在的问题

    使用词相似度任务作为词向量内在评估的代理，但没有标准化的词向量外部评估方法。本文探讨了使用词相似度数据集进行词向量评估时存在的问题，并总结已有的解决方案，最后指出这种方法不具可持续性，需要进一步研究词向量的评估方法。

    May, 2016

  • 词向量评估方法概述

    本论文总结了词嵌入表示领域的广泛研究，概括了 16 种内在方法和 12 种外在方法，提出了一种方法分类并讨论了一些关键挑战。

    Jan, 2018

  • 评估词嵌入模型：方法和实验结果

    本文对语言处理应用中大量的词嵌入模型进行了广泛的评估。作者首先介绍了流行的词嵌入模型并讨论了所需的属性以及评估方法，并将评估者分为内在和外在两种类型。作者在六个词嵌入模型上进行了内在和外在检验实验，并做出说明，最后采用相关性分析研究了内在和外在评估者的性能一致性。

    Jan, 2019

  • 现有词嵌入方法的全面实证评估

    本文通过对现有单词嵌入方法的特点和分类任务的分析，将单词嵌入方法划分为传统方法和基于神经网络的方法，揭示基于神经网络的单词表示方法相比于传统方法更能捕捉语言的语义和句法规律。实验验证了不同方法的性能差异。

    Mar, 2023

  • 基于子空间的预训练词嵌入空间集合运算

    本研究提出了一种利用预训练词向量空间中的子空间进行集合运算的新方法，并在 Text Concept Set Retrieval 和 Semantic Textual Similarity 任务中进行了实验证明了该方法的有效性。

    Oct, 2022

  • 以词和句相似性重新思考评估

    本文提出了 EvalRank 作为一种新的内部评估方法，它在 60 多个模型和流行数据集上进行了深入的实验，并释放了实用的评估工具包用于未来的基准测试。

    Mar, 2022

  • 揭示词嵌入中的差异性语言信息及其对内在和外在评估的意义

    本文研究词嵌入技术中的理想表示问题，发现各种模型包含的信息互相矛盾，通过线性变换来调整相似度排序以提高其结果，同时探讨了内在和外在评估之间的关系。

    Sep, 2018

  • 如何评估词嵌入？数据效率和简单监督任务的重要性

    提出了一种基于数据效率和简单监督任务的评估方法，系统评估了一些词嵌入模型，并得出了新的性能特征见解，例如词相似性和类比常常用非线性编码，质疑了基于余弦相似度的无监督评估方法。

    Feb, 2017

  • 以概念子空间为基础的实体嵌入用于合理推理

    本研究提出一种基于向量空间嵌入的方法，通过 Wikipedia 学习实体的嵌入并将其限制在某些较低维度子空间中，以解决概念空间表示建模自动化的局限性，实验结果表明这些子空间能够作为近似的概念空间表示，其重要特征可以被建模为方向，而自然属性则往往对应于凸区域。

    Feb, 2016

  • 基于子空间嵌入的轻量级神经语言模型适应

    我们提出了一种新的紧凑嵌入结构，通过对预训练语言模型中的标记之间的上下文关系进行一组子空间嵌入和分配过程，来减少预训练语言模型的内存占用，牺牲高达 4% 的绝对准确率。我们的实验结果表明，子空间嵌入在 XNLI 和 GLUE 基准套件上与原始嵌入相比，达到了超过 99.8% 的压缩率。

    Aug, 2023