May, 2023

语言模型词嵌入空间中的词汇文体特征表达

PDF
TL;DR本研究发现，通过预训练语言模型（LMs）建立的表征空间，不仅编码了单词及其关系等抽象语义概念，也能够识别如复杂性、正式程度和象征性等字词风格，以及使用在小数量文本中产生的矢量表征。此外，本文还对这些表征空间的词级与短语级特征进行了分析，并表明无论静态嵌入还是上下文化 LMs，都可以在对不同长度的文本进行字符化时得到更高的准确度。
发现论文，激发创造
  • 上下文化词表示的低维线性几何

    本文研究了 ELMO 和 BERT 中的单词表示的线性几何，发现低维子空间编码了各种语言特征，包括结构化依赖关系，子空间之间存在着层次关系，可以用于对 BERT 的输出分布进行细粒度的操作。

    May, 2021

  • 深度上下文词表示

    本文介绍了一种新型的深层上下文词表示方法，既能够建模单词用法的复杂特征 (如句法和语义)，又能够建模这些用法在语言上下文中的变化 (即建模多义性)，这些表示可以轻松地添加到现有模型中，并且可以显著提高 NLP 问题的性能。

    Feb, 2018

  • 利用大型语言模型揭秘嵌入空间

    利用大型语言模型将嵌入向量转化为可理解的叙述，解决了嵌入向量难于解释和使用的问题，增强了概念激活向量、通信新的嵌入实体和解码推荐系统用户偏好等任务的能力。

    Oct, 2023

  • 通过概念化解释嵌入空间

    本文提出了一种将任何嵌入空间转换成易理解的概念空间的方法，并展示了该方法在语义表示方面的实用价值，如发现潜藏的偏见和比较不同模型间语义的差异。

    Aug, 2022

  • 描述的是否是同一声音？一项对表现钢琴演奏的词嵌入空间的分析

    使用五个嵌入模型和他们的相似性结构，我们研究了表达钢琴演奏特点的领域中的语义嵌入的不确定性，并评估了上下文提示、减少中心性、跨模态相似度和 k-means 聚类的效果。结果显示，针对这一任务的嵌入模型质量存在很大的变异性；更一般的模型表现优于领域适应模型，并且最佳模型配置达到与人类级别的一致性。

    Dec, 2023

  • 意义的线性空间：VLM 的组合语言

    本文讨论在预先训练的视觉与语言模型中向量数据嵌入的组合结构，提出一种基于理想词向量的新的合成性表达方法，并探讨其与数学表示理论和去耦合表示概念的联系。作者提供理论和经验证据表明，理想词嵌入提供良好的组合近似和比基于标记的分解更有效的组合表示方法。

    Feb, 2023

  • 现有词嵌入方法的全面实证评估

    本文通过对现有单词嵌入方法的特点和分类任务的分析，将单词嵌入方法划分为传统方法和基于神经网络的方法，揭示基于神经网络的单词表示方法相比于传统方法更能捕捉语言的语义和句法规律。实验验证了不同方法的性能差异。

    Mar, 2023

  • 针对深度组合模型的语法感知多义词嵌入

    本研究详细介绍了一个基于丰富的单词嵌入的组成分布式框架，旨在促进句子中单词之间的交互，并使用环境中的句法信息来增强向量。研究结果表明，该框架在 MSRPar 任务上取得了具有代表性的结果。

    Aug, 2015

  • 词汇语义增强的神经词向量

    通过深度度量学习进行后处理可以提高神经语言模型中语义相似度推断的效果，并将层次拟合用于建模 IS-A 层次中的语义相似性细微差别。

    Oct, 2022

  • 利用词嵌入进行聚类的语言模型用于文本可读性评估

    使用聚类方法基于词向量的语言模型，在一个更高语义空间中依据文本回归的特征表现显著优于之前的技术方案，同时具备与文档长度变化相关性自适应的能力。

    Sep, 2017