Aug, 2024

重新考虑预训练语言模型的词元嵌入及其定义

HTML
PDF
TL;DR本研究针对目前预训练语言模型中词元嵌入产生的非各向同性问题及低频词的语义信息流失进行分析。提出的DefinitionEMB方法通过利用定义构建语义相关且各向同性的词元嵌入，保持了模型的鲁棒性。实验结果表明，该方法显著提升了低频词的模型性能，尤其在各种GLUE和文本摘要数据集上表现出色。
发现论文，激发创造
  • 学习将单词嵌入上下文以执行句法任务

    我们提出了一种基于标准神经网络架构的简单，高效的令牌嵌入模型，并通过大量未注释的文本学习了令牌嵌入，评估它们作为基于少量注释的数据训练的词性标注器和依存分析器的特征，发现词嵌入在各种上下文窗口和训练集大小下都能一致优于基准预测模型。

    Jun, 2017

  • 自然语言生成的预训练-微调范式中的子词缝隙填补

    该文提出了一种通过嵌入传递来解决预训练-微调范式中的一些缺陷的方法，该方法可以提高预训练模型在自然语言生成（NLG）任务中的效果，实验表明该策略能够自由传输词汇，从而导致下游 NLG 模型执行更高效和更好。

    Jun, 2021

  • 自适应分词的语言模型高效域适应

    通过适应标记器，将预训练语言模型转移到新领域，提供了与基于专门领域的预训练方法相当的性能，同时生成的模型更小且训练和推断时间更短。

    Sep, 2021

  • 令牌知道它们的字符以及如何知道它们？

    该研究探讨了在使用基于子词分割的预训练语言模型（PLMs）中，字符级信息被编码的机制以及这些模型如何获得英语语言字符信息，结论表明这些模型可以很好地编码字符级信息并通过一系列实验证明这些结果是普遍适用的，并归纳了多种现象对于知识获取的作用，其中自然变化是其中之一

    Jun, 2022

  • Lexinvariant 语言模型

    本篇论文研究如何构建无需固定 token embeddings 的 lexinvariant 语言模型，并以证明、构建和实证为路径，通过高效的词频以及已生成文本的置换密文中如何隐式实现贝叶斯上下文解密以及所有合成推理和推理任务的统计力量

    May, 2023

  • 分歧的令牌指标：测量退化以剪枝LLM组件并优化量化

    通过引入Divergent Token metrics (DTMs)方法，本研究探索了对大型语言模型进行压缩的方法，并评估了压缩后模型的文本生成质量。结果表明，可以在不损害文本生成质量的情况下达到显著的精确度和稀疏度水平，而且DTMs可以更精确地评估模型各组件的影响。使用第一分歧标记度量（FDTM）进行模型稀疏化分析发现，可以剪枝超过90%的组件。在量化方面，FDTM建议可以将超过80%的参数直接转换为int8，而无需特殊的异常值管理。

    Nov, 2023

  • 预训练语言模型对标记的表面信息的认知

    预训练语言模型对于令牌的表面信息具有知识，包括令牌长度和子字符串。然而，对于令牌构成方面的知识，模型存在有效利用的瓶颈。

    Feb, 2024

  • 一段文字胜过数个令牌：LLM的文字嵌入与关键令牌密切对齐

    通过分析长序列模型的嵌入数据，我们发现其文本嵌入与关键标记是可以对齐的，并进一步通过调整首个主要成分，实现文本嵌入与关键标记的对齐。这一发现拥有广泛应用潜力，可用于稀疏检索方法的改进和模糊概念的理解。

    Jun, 2024

  • 大型语言模型中的下一标记预测法则

    本研究解决了大型语言模型（LLMs）在理解内部输入数据处理过程中的黑箱问题。我们提出了一种定量法则，揭示每一层在提高下一标记预测的准确性方面均作出相等贡献。这一发现对LLM的设计、训练和应用具有重要影响，提供了新的指导思路。

    Aug, 2024

  • 下一个标记预测的隐式几何：从语言稀疏模式到模型表示

    本研究解决了下一标记预测（NTP）如何影响语言模式与模型表示几何属性之间映射的未知问题。通过将大型语言模型的训练框架视为稀疏概率标签向量上的软标签分类，提出了一种新颖的方法来分析单词和上下文嵌入的几何特征。研究发现，NTP隐式地促进了稀疏加低秩结构的学习，可能导致相同下一标记上下文的表示在适当子空间中聚集，这一现象称为子空间崩溃。

    Aug, 2024