Mar, 2022

VAST：用于上下文化语言模型的情感评估语义测试

HTML
PDF
TL;DR本文提出了一种新的内在评估任务VAST，可以用来评估基于上下文的词嵌入(CWEs)的效果，研究了上下文语境、分词、语言模型等因素对CWEs的影响，并且该评估方法也可以用于7种不同的语言；通过实现对GPT-2的测试，发现通过对其中一些神经元的操作可以过滤掉更多的非语义相关的信号，从而提升词语语义相关性的相关度；最后，通过对词相似性的任务以及词汇关联偏差测试的研究表明，VAST在LM语义理解方面有很好的效果。
发现论文，激发创造
  • 揭示词嵌入中的差异性语言信息及其对内在和外在评估的意义

    本文研究词嵌入技术中的理想表示问题，发现各种模型包含的信息互相矛盾，通过线性变换来调整相似度排序以提高其结果，同时探讨了内在和外在评估之间的关系。

    Sep, 2018

  • 用语义类别探测量化单词表示的情境化

    通过研究BERT中的单词上下文含义的量化，我们展示了预训练语言模型如何解释单词在上下文中的重要性，结果显示顶层语义表示对于任务的推断非常准确，底层语义表示更具可转移性。

    Apr, 2020

  • 窥探邻居：针对上下文嵌入的细粒度探测，用于获取周围词语的信息

    通过引入一系列探测任务，对比测试了BERT、ELMo和GPT等语境编码器对于上下文信息的编码能力，发现每种信息类型确实都是以上下文信息的形式编码的，但是不同的编码器在分配特征到哪些标记上、特征分配的细度、特征编码的鲁棒性等方面存在差异。

    May, 2020

  • ValNorm量化语义揭示跨语言和跨世纪的一致情绪倾向

    本论文介绍了一个新的内在评估任务和方法ValNorm，可通过语义学的统计规律来量化人类主观评价中影响价值维度的词汇，使用静态单词嵌入技术来评估七种语言（中文，英文，德文，波兰文，葡萄牙文，西班牙文和土耳其文）中几组单词的情感价值，并表明意义不同的单词情感价值具有广泛的共享关联。

    Jun, 2020

  • 上下文诱导的词嵌入编码人类词义知识的方面

    本文探讨了自然语言处理中的一项工作，基于BERT嵌入空间来评估英语单词的多义和同音词意义之间的相关性。发现使用BERT嵌入模型能够在意义表示上更加清晰地捕捉多义性和同音词意的潜在结构，具有潜在的应用价值。

    Oct, 2020

  • AM2iCo：使用对抗性示例在低资源语言中评估单词含义的上下文

    本研究提出了AM2iCo用于多语言和跨语言的词汇语义评估，旨在研究最先进的预训练文本表示模型在理解跨语言环境下的词意识别方面的能力，结果显示当前预训练编码器表现与人类性能存在明显差距，尤其体现在低资源语言和与英语不同的语言上。

    Apr, 2021

  • RAW-C：上下文中模糊词的相关性（英语新词汇资源）

    该论文介绍了 RAW-C，一种对 112 个上下文中的模棱两可的单词进行分级人类相关性判断的数据集，以及来自 BERT 和 ELMo 的情境化词嵌入的余弦距离的度量与人类判断的相关性。同时，这份论文提出了心理语言学的理论与词汇语义计算模型之间的综合。

    May, 2021

  • 测量词语语境偏差在词汇语义数据集中

    本文首次定量分析各大语境词汇语义任务中正在测试的语境词交互。结果表明，与人类在这些任务中完全不同，现有数据集在测试预训练上下文化模型时存在极端偏差，需要更好地理解模型与人类之间的差距。本文提出了一种框架以更好地理解和控制这些偏差，以进行模型解释和未来任务设计。

    Dec, 2021

  • 上下文中的迷失？关于上下文化词向量的意义差异

    揭示了上下文化单词嵌入的一些特征，包括上下文中单词意思的变化程度，单词在不同上下文中的一致性，以及单词位置偏差的影响，并提出一种减轻这种偏差的简单方法。

    Aug, 2022

  • 两词测试：大型语言模型语义基准测试

    本篇研究提出了一种新的基于双词短语的语义能力评估测试（TWT），研究评估了GPT-4、GPT-3.5和Bard等大规模语言模型的能力，显示它们在评估短语的意义和辨别无意义词组方面均表现不佳，需要继续进行测试和改进。

    Jun, 2023