使用大型语言模型，我们发现它们能够生成结构完整且连贯的长文本，表明虽然这些模型是基于下一个词的预测进行训练的，但它们必须表示文档的潜在结构。本文研究了潜在主题结构作为文档结构的互补方面，通过将大型语言模型优化与隐性贝叶斯推断相连接来验证我们的假设。我们通过拉普拉斯诱导的神经概率编码机制与连续下降信息论方法推导出来自大型语言模型的统计学抽象，进而通过推导来自大型语言模型的统计学抽象。

Dec, 2023

本文提出了一种新的几何方法，通过单语嵌入和双语词典学习双语映射，并将其建模为平滑的黎曼流形上的优化问题，旨在解决双语词典感应和多语言学习中的问题。该方法分解了学习源语言到目标语言的变换，包括学习用于将语言特定的嵌入旋转到公共空间的旋转以及学习在公共空间中对嵌入之间相似性进行建模的相似性度量。结果表明，该方法在双语词典感应和跨语言词相似性任务上优于以前的方法，同时还将该框架推广到了多种语言的共同潜在空间表示上，展示了联合学习处理多语言问题的有效性。

Aug, 2018

本文研究了神经网络语言模型的内部偏差，并证明了嵌入空间中的概率上限与其凸壳边界上的单词相关。

May, 2020

我们介绍了一个贝叶斯学习模型来理解大型语言模型的行为。我们探讨了大语言模型的优化指标，基于对下一个标记的预测，并开发了一个基于此原则的新颖模型。我们构建了一个理想的生成文本模型，通过具有先验信息的多项式过渡概率矩阵表示，并研究了大语言模型如何逼近该矩阵。我们讨论了嵌入和多项式分布之间的映射的连续性，并提出了狄利克雷逼近定理来近似任何先验。此外，我们展示了大型语言模型的文本生成如何符合贝叶斯学习原理，并深入探讨了其在上下文学习中的影响，特别是解释了为什么在更大的模型中，提示被视为要更新的样本。我们的研究结果表明，大型语言模型的行为与贝叶斯学习一致，为它们的功能和潜在应用提供了新的见解。

Feb, 2024

使用 Riemannian 几何工具研究了概率生成降维模型的几何结构，以高斯过程为基础，定义了一种度量分布，利用度量在潜变量空间中进行插值并测量距离，从而更恰当地生成新数据。

Nov, 2014

基于超几何空间的视觉 Transformer 模型，使用改进版的成对交叉熵损失函数直接优化嵌入向量，经过六种不同的数据集表明得到了全新的最先进性能。

Mar, 2022

使用潜在空间中的统计工具，比较语言模型生成的文本与真实数据的分布，评估生成文本的高级结构，发现基于 Transformer 的语言模型能够捕捉主题结构，但在维持结构连贯性和建模指代关系方面存在困难。

Oct, 2022

高层语义概念在大型语言模型的表示空间中按线性方式编码；本研究通过引入简单的潜在变量模型来研究这种线性表示的起源，并证明了下一个标记预测目标和梯度下降的隐式偏差共同促进了概念的线性表示。

Mar, 2024

使用指令与参数框架、生成式语言模型、指数族矩阵分解等方法建立语言结构的概率模型，实现了对不同语言之间结构的预测，并表明语言嵌入的预训练可以推广到未观察的语言。

Mar, 2019

研究了语义结构如何编码在文本嵌入向量的代数结构中，通过引入语义独立性的概念和部分正交性作为相关代数结构，证明了部分正交性确实捕捉到了语义独立性，同时介绍了保持独立性的嵌入方法及其近似存在性的证明。

Oct, 2023