建模新兴语言中的词汇熵数学
介绍了 FiLex，这是一种自我加强的随机过程，可以模拟语言实验中的有限词汇。FiLex 的核心特性是它是一种自我加强的过程，类似于一个词在语言中使用的越多，它的使用就会越多的直觉。FiLex 作为一个理论模型，既可以解释又可以预测新兴语言系统的行为。我们在实践中测试到 FiLex 捕获新兴语言的超参数与词汇的香农熵之间关系的能力。
Jun, 2022
本文研究表明，通过使用大数据和大模型训练的 LLMs 可以准确评估语言的边际分布，并利用这一分布进行贝叶斯推理来分析语言间的稀疏结构，从而提高语言理解、上下文学习、思维链引导和有效指导的能力。
Apr, 2023
利用密度演化分析，我们提出了一种数学理论来解释学习技能的产生，当训练文本的大小与技能数量的比例超过一定阈值时，展示了学习技能的出现。在训练完成后，我们提出了一种语义压缩方法，并讨论了其在语义通信中的应用。
Apr, 2024
本文探讨了深度学习模型在语言游戏中发展出不同语言的表现力，即能力体现在能有效编码输入空间信息的程度；通过对不同游戏的通用性表现进行度量，发现该表现力是上下文的复杂性和不可预测性之间的权衡，并对讯息类型塌缩现象进行了研究，结果表明使用陈等人 (2020) 提出的对比损失能够缓解这一问题。
Jun, 2021
我们提出了一种可量化的解决方案来估计新现象，在动力学中受到新兴主义启发，通过将转换器块中的表示计算的宏观（语义）级别和微观（令牌）级别的熵减进行比较，以量化新现象的强度。
May, 2024
该论文提出一种利用马尔可夫过程进行文本话题、同义词和语义领域提取的语义模型，通过数学分析文本中的重复模式的方法，实现了语言无关的数字指纹。这种语言无关的语义表达方式可以让机器阅读器能够自动识别不同语言的中短文本和进行自动单词翻译。
Jul, 2019
通过对语言模型的参数集和训练语料库进行扩展，可以产生新的技能，该现象对于 AI 产品的发展具有重要推动作用。本文采用简单的统计框架和知名的扩展定律分析了新技能的出现，揭示了预训练模型在学习过程中的高效性。
Jul, 2023