通过分析语言模型（LM）中的压缩方法，从几何和信息论的角度，我们证明这两种视角高度相关，表明语言数据的内在几何维度可以预测其在 LM 下的编码长度，进而表明语言信息压缩能力是成功 LM 性能的重要组成部分。同时，我们还评估了一系列首次应用于语言数据的特征维度估计器，表明只有其中的一部分能够概括信息论压缩、几何压缩和适应性关系。

Oct, 2023

通过信息理论，提出了一种能够有效将自然语言进行解缠编码的新方法，产生了在内容和风格保留方面高质量的解缠表示，借助互信息的上界来度量风格和内容之间的相关性，实现对风格和内容嵌入成两个独立的低维空间。

Jun, 2020

该研究探讨了大型语言模型（LLMs）中嵌入的信息编码，并发现与模型大小存在幂律关系的表示熵。基于此观察，提出了一个基于（条件）熵的理论以阐明该缩放定律现象。此外，通过使用信息论和回归技术，研究 LLMs 的自回归结构，并检查最后一个标记与前文标记之间的关系。具体地，我们建立了新标记的信息增益与岭回归之间的理论联系。此外，我们还探索了 Lasso 回归在选择有意义的标记方面的有效性，有时优于相关的注意力权重。最后，通过进行对比实验，发现信息分布在各个标记中，而不仅仅集中在特定的 “有意义” 标记中。

Feb, 2024

通过一种新颖的可解释性方法，该论文使用信息论度量量化了神经模型对输入的表示的结构化程度，从而预测模型的泛化能力，并发现模型的代表性和噪声强度有关。此外，研究还研究了模型大小对表示空间结构的影响。

Jun, 2024

本文提出了一种利用加权词向量嵌入学习无标注句子表示的无监督方法，通过 TF-IDF 变换提供的 Shannon 词熵拟合词向量的权重，选择不同的超参得出短期训练、在线推理的句子表示，经过与 STS 系统的对比表明，该方法在语义文本相似度模型中的表现已达到最优。

Oct, 2017

以语义结构探测为方法，对来自不同家族（仅编码器、仅解码器、编码解码器）和大小的语言模型进行实验，评估其在语义文本相似度和自然语言推理方面的性能和层次动态，发现模型家族在性能和层次动态上存在显著差异，但结果大部分与模型大小无关。

Oct, 2023

我们研究了如何将基于 transformer 的句子嵌入压缩成一种表示，以分离不同的语言信号，特别是与主谓一致和谓词交替相关的信息。通过在变分自编码器类似系统的潜在层中压缩共享目标现象的输入序列，我们发现目标语言信息变得更加明确。具有离散和连续组成部分的潜在层比只有离散或只有连续组成部分的潜在层更好地捕捉目标现象。这些实验是将分布式文本嵌入中的语言信号与更符号化的表示相分离并将它们联系起来的一步。

Dec, 2023

本文提出了一种新的基于阈值的语义文本表示方法，并结合机器学习算法应用语义和词汇特征对文本 - 假设对进行分类，该技术有效地丰富了文本的语义信息，在文字蕴涵分类任务中在意义理解方面的表现明显优于已知方法

Oct, 2022

通过对比损失的简单调优，句子编码器的性能可以得到显著提高。本文理论上和实验上展示出，在对比学习过程中模型获得了怎样的特征，即基于信息论的数量对词汇进行隐式加权。本文还使用多种模型、多个数据集、两种度量模型隐式加权的方法（集成渐变法和 SHAP）以及两个信息论数量（信息增益和自信息量）进行了全面实验。结果提供了对对比调优强调信息丰富词汇的经验证据。

Oct, 2023

本文提出使用 von Mises-Fisher 分布来建模单元球上的单词密度，以构建主题模型，并基于随机变分推理提出了一种高效的推断算法，实现了自然利用词嵌入的语义结构，同时能够灵活地发现主题数量。该方法在两个不同的文本语料库中拥有更好的主题连贯性并提供有效推理。

Apr, 2016