AAAINov, 2019

利用半同胞回归对词嵌入进行因果去噪

PDF
TL;DR本文提出了一种基于因果推断框架下的新型词向量后处理方案，并应用 Half-Sibling Regression 算法，以识别和消除噪音，实现对预训练词向量的增强，相较于之前的方法具有可解释性和透明度，评估结果表明在标准水平评估任务和情感分析方面的性能达到了最先进水平。
word vectorspostprocessing algorithmhalf-sibling regressioncausal inferencesentiment analysis
发现论文，激发创造
  • 使用同层嵌入的分布进行无监督语义变化预测

    本文介绍了一种利用目标词的词汇上下文嵌入组成的同义分布来预测语义变化的方法，在 SemEval-2020 任务 1 基准数据集上实验证明了该方法优于使用平均嵌入表示的先前方法，并且与当前的最先进技术持平。此外，定性分析表明该方法能够检测到现有方法未能捕获的词语重要语义更改。

    May, 2023

  • 一种因果推断方法用于减少词嵌入关系中的性别偏见

    本研究提出了一种基于统计依存关系的方法来消除词向量关系中的性别偏差，有效避免了词向量关系中存在的性别偏见问题，并在多个联想任务中实现了最先进的结果。

    Nov, 2019

  • 利用蕴涵的分布式语义学学习上下位词的词嵌入

    该研究提出了一种基于向量空间的框架来对词汇包容性建模的分布语义模型，利用伪短语中邻近的两个词向量提出了一种隐向量，并探究了模拟词作为证据或词作为后验分布的优缺点。实验表明，所得到的词嵌入模型优于之前预测词之间下义词关系的最佳结果。

    Oct, 2017

  • 词汇语义增强的神经词向量

    通过深度度量学习进行后处理可以提高神经语言模型中语义相似度推断的效果，并将层次拟合用于建模 IS-A 层次中的语义相似性细微差别。

    Oct, 2022

  • 非分布式词向量表示

    该研究介绍了一种从手工构造的语言资源（如 WordNet、FrameNet 等）中构建解释性词向量的方法，这些向量是二进制的（即仅包含 0 和 1），且稀疏率达到 99.9%。该方法在词向量分布模型的最新评估方法上表现良好，竞争力强。

    Jun, 2015

  • 通过概念否定实现单词向量的无监督后处理

    本文介绍了一种基于矩阵嵌入器的新型词向量后处理技术，能够抑制词向量中高方差的潜在特征，该方法是纯无监督学习的，不依赖于任何语料库或外部语言数据库，研究结果表明，这种词向量后处理方法在内在词汇评估任务中表现比现有的前沿方法更好，并且后处理后的词向量可用于对话状态跟踪的下游自然语言处理任务，在不同的对话领域中都能取得更好的结果。

    Nov, 2018

  • 基于神经网络的词嵌入噪声过滤

    本文提出了两个新模型，利用无监督学习改进词向量表示方法，得到噪声更少的词向量表示，这是通过利用深度前馈神经网络滤波器来强化有意义的信息，减弱噪声得到的，实验结果表明，过滤后的词向量表示比原始词向量更有效。

    Oct, 2016

  • 通过因果推断实现词嵌入：减少性别偏见并保留语义信息

    通过提出一种基于因果推断框架的新方法来有效消除性别偏见，该方法可以在保留嵌入式语义信息的同时构建和分析性别信息流的复杂因果机制，从而在性别去偏任务中取得最新的技术结果。

    Dec, 2021

  • 除顶部之外：用于词语表达的简单有效后处理

    本文介绍了一种消除平均向量和少量主导方向的词向量后处理技术，通过在多种语言和数据集上进行的实验验证，发现处理后的词表示比原始表示更强，适用于词汇水平内在任务和句子级任务。

    Feb, 2017

  • 分布语义的向量空间用于蕴涵

    本文提出了一个基于向量空间的模型，通过平均场近似，发展了逼近推理程序和蕴涵操作，用于重新解释现有的分布式语义模型（Word2Vec），以近似预测词汇蕴涵关系，通过无监督和半监督实验，在下义词检测方面取得了显著的改进。

    Jul, 2016