我们提出了一种基于标准神经网络架构的简单，高效的令牌嵌入模型，并通过大量未注释的文本学习了令牌嵌入，评估它们作为基于少量注释的数据训练的词性标注器和依存分析器的特征，发现词嵌入在各种上下文窗口和训练集大小下都能一致优于基准预测模型。

Jun, 2017

通过引入一系列探测任务，对比测试了BERT、ELMo和GPT等语境编码器对于上下文信息的编码能力，发现每种信息类型确实都是以上下文信息的形式编码的，但是不同的编码器在分配特征到哪些标记上、特征分配的细度、特征编码的鲁棒性等方面存在差异。

May, 2020

通过使用结构化的变分自编码器进行完全无监督的学习，得出语境化嵌入的表征空间存在潜在状态的网络，这些状态不仅作为表示流形的拓扑结构的锚点，还揭示了对句子进行编码的内部机制。同时，表明句子作为潜在网络上的遍历，状态转换链编码了句法模板，状态-词发射填充了内容。

Jun, 2022

本篇论文研究如何构建无需固定 token embeddings 的 lexinvariant 语言模型，并以证明、构建和实证为路径，通过高效的词频以及已生成文本的置换密文中如何隐式实现贝叶斯上下文解密以及所有合成推理和推理任务的统计力量

May, 2023

该研究探讨了大型语言模型（LLMs）中嵌入的信息编码，并发现与模型大小存在幂律关系的表示熵。基于此观察，提出了一个基于（条件）熵的理论以阐明该缩放定律现象。此外，通过使用信息论和回归技术，研究LLMs的自回归结构，并检查最后一个标记与前文标记之间的关系。具体地，我们建立了新标记的信息增益与岭回归之间的理论联系。此外，我们还探索了Lasso回归在选择有意义的标记方面的有效性，有时优于相关的注意力权重。最后，通过进行对比实验，发现信息分布在各个标记中，而不仅仅集中在特定的“有意义”标记中。

Feb, 2024

利用渐进式下降算法在NTP训练中获得最佳性能解决方案，研究了梯度下降方法在NTP训练中的偏向性和最优解相关性，并提出了进一步研究的方向，以更好地理解使用NTP进行训练的模型的优化、泛化和鲁棒性原则。

Feb, 2024

高层语义概念在大型语言模型的表示空间中按线性方式编码；本研究通过引入简单的潜在变量模型来研究这种线性表示的起源，并证明了下一个标记预测目标和梯度下降的隐式偏差共同促进了概念的线性表示。

Mar, 2024

本研究针对目前预训练语言模型中词元嵌入产生的非各向同性问题及低频词的语义信息流失进行分析。提出的DefinitionEMB方法通过利用定义构建语义相关且各向同性的词元嵌入，保持了模型的鲁棒性。实验结果表明，该方法显著提升了低频词的模型性能，尤其在各种GLUE和文本摘要数据集上表现出色。

Aug, 2024

本研究解决了大型语言模型（LLMs）在理解内部输入数据处理过程中的黑箱问题。我们提出了一种定量法则，揭示每一层在提高下一标记预测的准确性方面均作出相等贡献。这一发现对LLM的设计、训练和应用具有重要影响，提供了新的指导思路。

Aug, 2024

本研究解决了语言模型解码中关键表示分布对下一标记预测分布的影响，尤其是键之间的相似性可能引发虚假相关的问题。论文提出了一种新的上下文方法，通过逐步将查询表示推离已探索区域，显著提高了解码的多样性和生成结果的自一致性。这一方法在知识探测任务中的实验结果表明，其对提高生成的多样性和准确性具有良好效果。

Oct, 2024