May, 2023

先验语言模型中的标量副词：普通与明显的对比研究

PDF
TL;DR本文系统研究了 scalar adverbs 这一类词在 BERT，RoBERTa,GPT-2 和 GPT-3 预训练语言模型中的表现，并发现虽然这些模型对逻辑含义的理解有一定的表现，但与人类的表现还有很大差距。
vector space modelspretrained language modelslogical forcescalar adverbsmodel performance
发现论文，激发创造
  • 用于量级形容词词汇语义和量级多样性语用学的大型语言模型探测

    这项研究使用 GPT-4 等大型语言模型探究了标量形容词的词汇语义和语用学的一个方面，即标量多样性。结果发现，这些模型对标量形容词的词汇语义有很好的理解，但对标量多样性的理解却不足。同时，对比了不同规模和复杂性的模型，发现较大的模型并不总是更好。最后，通过利用语言直觉和模型训练目标解释了探索结果。

    Apr, 2024

  • 基于 Bert 的上下文对词相似度影响的精准预测模型

    本文主要探讨了一种分析语境对相似词人类感知影响的方法，使用多种方式计算 BERT 生成的双向编码器表示法的两个嵌入向量之间的距离，研究组在 SemEval 2020 的任务三中赢得了芬兰语语言赛道的第一名和英语语言赛道的第二名。

    May, 2020

  • 用于跨语言评估的基于逻辑的语料库

    本文提出了一种新的语法任务集，专注于矛盾检测，并评估了递归模型和 BERT 网络。虽然 BERT 在大多数逻辑形式上具有更好的泛化效果，但在处理计数算子时仍有待改进，同时表明该语法任务可以在不同的语言中实现并实现跨语言传递学习。

    May, 2019

  • 标量形容词识别与多语言排名

    本文介绍了一个新的多语言数据集，在这个数据集上，使用单语和多语境的语言模型进行了一系列实验，设置了性能基准，并引入了一个新的英语标量形容词分类任务。此外，还探索了上下文表示，并报告了此任务的未来比较的基线结果。

    May, 2021

  • 上下文化语言模型中的否定、协同和量词

    本文探讨了上下文化的语言模型及其内部机制，尤其关注其对虚词的语义学约束和周围环境的影响，研究了相应的数据集，实现了可视化的定性分析界面。

    Sep, 2022

  • 通过逐层维度选择从预训练语言模型中解析单词语义

    该论文使用二进制掩码对预训练模型中不同层的输出进行切割，以解离 BERT 中的语义意义，而不更新预训练参数，从而产生解离的嵌入表示。使用二进制分类验证解离的嵌入的效果，判断两个不同句子中目标词的含义是否相同。实验结果表明，利用层次信息是有效的，而解离的语义意义进一步提高了性能。

    Oct, 2023

  • 上下文诱导的词嵌入编码人类词义知识的方面

    本文探讨了自然语言处理中的一项工作，基于 BERT 嵌入空间来评估英语单词的多义和同音词意义之间的相关性。发现使用 BERT 嵌入模型能够在意义表示上更加清晰地捕捉多义性和同音词意的潜在结构，具有潜在的应用价值。

    Oct, 2020

  • Tsetlin 机嵌入：用逻辑表达式代表单词

    本文提出一种利用命题逻辑表示单词语义的词嵌入方法，使用 Tsetlin 机器自编码器进行学习，探讨了其在自然语言处理领域中的重要性，对比了其他模型，研究表明在多项分类任务中表现良好，且具有一定的可解释性。

    Jan, 2023

  • 副词，出人意料

    本研究认为副词在计算语言学中受到忽视，使用语框语义（Frame Semantics）为副词分析提供了一种有前途的方法，本研究提出的数据集可以有效检验一流的语言模型，并找到了副词意义解释中的系统性差距。

    May, 2023

  • 使用通用和特定词嵌入来分类研究的翻译阶段

    本文探讨使用无监督学习的方法，通过单词嵌入在词向量空间内学习语义相似性，以实现对文本分类任务的性能优化。研究发现，使用领域特定的词嵌入可以提高分类性能。

    May, 2017