WWWJan, 2020

POLAR 框架：极性相反促进预训练词嵌入可解释性

PDF
TL;DR采用语义差异的方法给预训练的词嵌入加上可解释性，构建了 POLAR 框架，可以从极性反义词之间的比例上见识到单个词的语义，该框架通过选择最有区分力的维度在保持性能的同时达到了词嵌入的可解释性。
polarinterpretabilitypre-trained word embeddingssemantic differentialsdownstream tasks
发现论文，激发创造
  • SensePOLAR：针对预训练上下文词嵌入的词义感知可解释性

    该研究提出 SensePOLAR, 一种扩展的 POLAR 框架，可以为预训练的上下文词嵌入提供词义感知的可解释性，以达到与原来的上下文词嵌入相同的性能表现。

    Jan, 2023

  • 可解释性超密集词向量的分析方法

    研究 word embeddings 的可解释性，通过旋转 word spaces 进行 interpretable dimensions 的识别并保留原有信息，提出了 DensRay 方法进行 closed form 计算，相比于 Densifier 更加鲁棒，对 lexicon induction 和 word analogy 进行了实验，并展示了可解释性 word spaces 如何应用于去除嵌入中的性别偏见。

    Apr, 2019

  • 词嵌入的表现能力

    本研究主要通过对情感极性和同义词 / 反义词关系的评估，比较不同嵌入方法之间的质量差异，并探讨嵌入空间中维数的多少以及每个维度的分辨率对 NLP 任务的影响。结果表明嵌入方法在不考虑句子结构的情况下可以捕捉到非常微妙的语义，而确定嵌入方法的质量和特性对最终结果具有重要影响。

    Jan, 2013

  • 词嵌入的语义结构和可解释性

    该研究提出了一种统计方法来揭示密集词嵌入中的潜在语义结构，并引入了一个新的数据集（SEMCAT），其中包含超过 6500 个在 110 个类别下语义分组的单词。研究还提出了一种量化词嵌入可解释性的方法，这是一种实用的替代方法，不需要人为干预。

    Nov, 2017

  • SWEAT：跨不同语料库打分话题极化

    本文提出了 “Sliced Word Embedding Association Test”（SWEAT）这一新的统计量，以计算两个分布表征中一组主题词的相对极性，用于理解语料库中观点的差异，通过使用两个相反极性的额外词组作为极点，验证了我们的方法并且阐述了引入该测量的实用性。

    Sep, 2021

  • 使用属性感知词向量实现新闻文章的政治去极端化

    本文提出了一种基于多层次探测极性语言的词向量模型的文本去极性框架，用于检测和取代媒体报道中的极性语言，实现文本去极性。作者通过对 11 个话题的 99 个故事应用该方法，使用自动和半自动模式比较分析原始文本和去极性后的文本，并通过 161 个人类测试人员获得高反馈，证明了该方法在有效去极性的同时保留了原始文本的信息。

    Jan, 2021

  • 利用上下文语义轴揭示人物表征中的差异

    本研究使用静态词向量嵌入，构建了上下文化的语义轴，以解决反义词有相邻表示的困境，并在两个人类数据集上验证了这些轴的效果：维基百科职业和过去 14 年中极端主义男性社区中的多平台讨论，结果显示上下文化的语义轴可以有效区分同一单词类型的不同实例。

    Oct, 2022

  • 量子启发式复杂单词嵌入

    本研究提出两个量子力学启发式模型，通过基于希尔伯特空间的相对相位来探究单词组合的含义，从而在二进制句子分类任务上达到了比非量子模型更好的性能。

    May, 2018

  • 情感分析：如何从 SentiWordNet 中推导出先前的极性

    本文通过融合各种先前极性技术，构建一个学习框架，使用两个不同版本的 SentiWordNet，以不同的数据集和任务测试回归和分类模型，得到了优于单一指标的新一代情感分析词语 prior 极性估计方法，并发现了词语 Part of Speech 和标注者性别对计算先前极性得分的有趣偏差。

    Sep, 2013

  • 方言图：论述性社群中的机器学习差异

    利用词向量建立方言图，提供新的度量词语差异的方法，探究两个美国政治子版的话语，并显示出政治家和政治实体情绪上的极端相反、对适当的政治行为评估的差异以及关于是否需要政治干预某些问题的分歧。

    Feb, 2023