ACLMay, 2023

背包语言模型

PDF
TL;DRBackpacks 是一种新的神经架构，它将强大的建模性能与可解释性和控制界面相结合。 Backpacks 通过学习每个词语的多个非上下文意义向量，将一个序列中的词表示为上下文相关的非负线性组合。我们还介绍了一些在感知向量上进行控制的简单算法，以实现可控的文本生成和去偏见。
backpacksneural architectureinterpretabilitysense vectorstext generation
发现论文，激发创造
  • 中文字符级背包语言模型

    通过对字符分割的中文进行训练、评估、解释和控制，我们发现我们的（134M 参数）中文 Backpack 语言模型在性能上与（104M 参数）Transformer 相当，并且学习到了丰富的字符级意义，通过对数相加形成词汇的意义。在 SimLex 风格的词汇语义评估中，Backpack 字符意义的简单平均超越了 Transformer 的输入嵌入。我们发现，复杂的多字符意义通常通过在上下文中一致使用相同的字符意义权重来形成。通过控制来探索可解释性，我们发现我们可以将 Backpack 中的性别偏见定位到特定的字符意义并采取措施来减少偏见。

    Oct, 2023

  • 情境化的词义感知：从注意力到组合性

    使用语义组合性建模的透明、可解释和语言学动机策略，模拟词的上下文意义编码，并且与复杂神经结构下的黑盒模型相比，显示其与语言学动机模型在给定语义任务中的竞争力。

    Dec, 2023

  • 深度上下文词表示

    本文介绍了一种新型的深层上下文词表示方法，既能够建模单词用法的复杂特征 (如句法和语义)，又能够建模这些用法在语言上下文中的变化 (即建模多义性)，这些表示可以轻松地添加到现有模型中，并且可以显著提高 NLP 问题的性能。

    Feb, 2018

  • 使用子词袋来泛化字嵌入

    本文提出了一种基于子词级别的词向量生成模型来解决传统词向量模型无法应对未登录词、破音字等问题，并在英文词汇相似性任务和 23 种语言的词性标注和变形属性的联合预测任务中实现了最优表现。

    Sep, 2018

  • 翻译学习：语境化词向量

    本文提出利用深度 LSTM 编码器来对词向量进行上下文增强的方法，并证明了这种方法在自然语言处理任务上，如情感分析、问题分类和问题回答等方面的有效性。

    Aug, 2017

  • 神经机器翻译的依赖于上下文的单词表示

    本文首次观察了神经机器翻译中不断向量表示的潜在弱点，基于此提出了利用非线性词袋表示法和类型化符号来提高对源语言和目标语言的区分度，从而显著提高了神经机器翻译系统的翻译质量。

    Jul, 2016

  • 针对深度组合模型的语法感知多义词嵌入

    本研究详细介绍了一个基于丰富的单词嵌入的组成分布式框架，旨在促进句子中单词之间的交互，并使用环境中的句法信息来增强向量。研究结果表明，该框架在 MSRPar 任务上取得了具有代表性的结果。

    Aug, 2015

  • 通过稀疏词表示压缩神经语言模型

    本文提出使用稀疏单词表示来压缩神经语言模型的参数量，以减少计算资源需求并提高性能表现。

    Oct, 2016

  • xSense: 学习分离词义的稀疏表示和文本定义，实现可解释的词义网络

    本文研究了词向量的解释问题，提出了一种算法可通过上下文信息和目标词语推断其意义，进而利用循环神经网络生成该词汇的定义，实现对词向量的直接解释。同时，作者提出了一个高质量的词汇上下文 - 定义数据集，用于词义消歧与定义建模。经实验测试，该方法在 BLEU 评分和人工评估测试中表现出卓越的性能。

    Sep, 2018

  • sense2vec - 一种快速准确的神经词嵌入词义消歧方法

    本篇论文提出了一种新的方法，基于监督式消歧，为每个单词建立多个嵌入向量，从而针对字面意思和文本语境对不同主题进行消歧，以及在神经依赖分析上具有更好的错误率表现。

    Nov, 2015