Aug, 2023

基于子空间嵌入的轻量级神经语言模型适应

PDF
TL;DR我们提出了一种新的紧凑嵌入结构，通过对预训练语言模型中的标记之间的上下文关系进行一组子空间嵌入和分配过程，来减少预训练语言模型的内存占用，牺牲高达 4% 的绝对准确率。我们的实验结果表明，子空间嵌入在 XNLI 和 GLUE 基准套件上与原始嵌入相比，达到了超过 99.8% 的压缩率。
neural word embeddingslanguage modelscompact embedding structurepre-trained language modelssubspace embeddings
发现论文，激发创造
  • 通过稀疏词表示压缩神经语言模型

    本文提出使用稀疏单词表示来压缩神经语言模型的参数量，以减少计算资源需求并提高性能表现。

    Oct, 2016

  • 嵌入结构的重要性：比较将多语言词汇适应到新语言的方法

    本研究提出了几种简单的技术，通过替换跨语言词汇为紧凑的特定语言词汇来改善在低资源语言中的性能，以及基于脚本子分布的嵌入重初始化技术在适应多语言模型方面与依赖于辅助模型获得的相似度分数的技术（如焦点方法）相媲美。

    Sep, 2023

  • 利用神经机器翻译嵌入词汇相似度

    该研究探讨神经机器翻译模型所学到的嵌入，在需要同时考虑概念相似性和词汇 - 句法角色知识的任务中，它们的性能优于单语言模型所学到的嵌入。研究结果还表明，词汇扩展算法对嵌入质量的影响很小。

    Dec, 2014

  • 通过子词参数重建词向量嵌入

    该研究提出了在子词素水平上进行操作以从预先训练的词嵌入中受益的方法，并报告了在词相似性、词类别标注等任务上的有趣结果。

    Jul, 2017

  • 发现用于语言无关的多语言表示的低秩子空间

    在这项工作中，我们提出了一种新的方法，通过从多语言嵌入空间中投影掉语言特定因素，以完全利用语义信息，并消除语言身份信号，从而在语义任务中取得更好的结果。

    Jan, 2024

  • 使用子词袋来泛化字嵌入

    本文提出了一种基于子词级别的词向量生成模型来解决传统词向量模型无法应对未登录词、破音字等问题，并在英文词汇相似性任务和 23 种语言的词性标注和变形属性的联合预测任务中实现了最优表现。

    Sep, 2018

  • 基于子空间的预训练词嵌入空间集合运算

    本研究提出了一种利用预训练词向量空间中的子空间进行集合运算的新方法，并在 Text Concept Set Retrieval 和 Semantic Textual Similarity 任务中进行了实验证明了该方法的有效性。

    Oct, 2022

  • 不是所有神经嵌入都是平等的

    研究神经机器翻译模型和单语模型在表征词汇相似性和语法角色方面的性能，结果表明，神经翻译模型在捕捉概念的本体论状态方面比单语模型更胜一筹。

    Oct, 2014

  • 适用于循环神经网络语言模型的瘦身嵌入层

    本文介绍了一种通过在 RNN 中的输入和输出嵌入层共享参数来压缩模型参数的方法，实验证明该方法可大幅减小模型参数的大小，但仍能在自然语言处理中保持模型的准确性和性能表现。

    Nov, 2017

  • 基于去文本化嵌入的无监督词汇替换

    本文采用预训练语言模型提出一种新的无监督词汇替换方法，通过根据单词在多个上下文中的平均上下文表示相似性来检索替代词，实验表明该方法在英语和意大利语上表现明显优于强基线，并且能够成功预测低频替代词且不受形态和句法中的词汇一致性的影响。

    Sep, 2022