本研究针对6种不同语言和5种不同词汇任务，对单语和多语言源LM、无上下文编码和有上下文编码、特殊标记的包含和分层平均等不同词汇知识提取策略的影响进行了系统的实证分析，并验证了较低变压器层携带更多类型级词汇知识的主张。

Oct, 2020

该研究探讨了在使用基于子词分割的预训练语言模型（PLMs）中，字符级信息被编码的机制以及这些模型如何获得英语语言字符信息，结论表明这些模型可以很好地编码字符级信息并通过一系列实验证明这些结果是普遍适用的，并归纳了多种现象对于知识获取的作用，其中自然变化是其中之一

Jun, 2022

本篇论文研究如何构建无需固定 token embeddings 的 lexinvariant 语言模型，并以证明、构建和实证为路径，通过高效的词频以及已生成文本的置换密文中如何隐式实现贝叶斯上下文解密以及所有合成推理和推理任务的统计力量

May, 2023

本文介绍了一种新颖的方法，用于识别可能参与文本生成的大规模语言模型（LLMs）。我们采用了一种将分类任务重新构建为下一个标记预测任务的方法，并直接微调基本语言模型来执行此任务。我们使用Text-to-Text Transfer Transformer（T5）模型作为实验的基础，并将我们的方法与利用隐藏状态进行分类的更直接方法进行了比较。评估结果显示了我们的方法在文本分类任务中的卓越性能，突出了其简单性和效率。此外，对我们模型提取的特征进行的可解释性研究揭示了其能够在没有显式分类器的情况下区分不同LLMs之间的独特写作风格。我们还收集了一个名为OpenLLMText的数据集，其中包含来自人类和LLMs（包括GPT3.5、PaLM、LLaMA和GPT2）的约340k个文本样本。

Nov, 2023

通过研究语料数据稀缺对子词分词及大型语言模型中单词表示的影响，以及Byte-Pair Encoding (BPE)分词器在缺少特定词汇时与新代词性别错误相关性，提出了保持词语功能结构的新方法PTP来改善大型语言模型中的新代词一致性，实验证明PTP能够使新代词一致性从14.5%提升至58.4%。

Dec, 2023

大型语言模型中的词汇语义在不同层次上具有不同的演化形式，较低层次的表示编码了词汇语义，而较高层次的表示则更适用于预测任务。

Mar, 2024

本研究针对目前预训练语言模型中词元嵌入产生的非各向同性问题及低频词的语义信息流失进行分析。提出的DefinitionEMB方法通过利用定义构建语义相关且各向同性的词元嵌入，保持了模型的鲁棒性。实验结果表明，该方法显著提升了低频词的模型性能，尤其在各种GLUE和文本摘要数据集上表现出色。

Aug, 2024

本研究解决了大型语言模型（LLMs）在自然语言处理任务中的内部机制未被充分探索的问题。通过分析单个令牌激活中的信息，特别是“\textbackslash n\textbackslash n”双换行符，我们证明了如何利用这些激活来传递后续段落的上下文信息，揭示了模型的前瞻性能力。

Sep, 2024

本研究解决了大型语言模型（LLMs）在处理文本时对正字法知识的理解程度这一问题。通过提出新的基准测试CUTE，论文设计了一系列任务来评估LLMs的正字法知识，并发现尽管大多数LLMs能够识别其符号的拼写，但在有效利用这些信息进行文本操作方面存在不足，从而质疑了这种知识的可推广性。

Sep, 2024

本文研究大型语言模型（LLMs）在拼写知识方面的能力，提出了一个新基准CUTE来评估这些模型的正字法知识。结果显示，尽管大多数LLMs能识别其标记的拼写，但在有效利用这些信息编辑文本方面存在不足，这引发了关于其知识可推广性的质疑。

Sep, 2024