本文研究书面语的信息编码和语义特征，利用信息论的方法分析书面语中词汇的分布和使用，探求了主题 - 词汇频率关系。研究结果表明，在每个文本中，频率高的词汇与主题的相关性更大，这种现象可以用特征大小和分布模型来解释。

Jul, 2009

本文讨论深度自然语言理解模型的系统性问题，通过在自然语言推理（NLI）中进行一系列实验，证明了一些 NLU 系统虽然不具备系统性，但仍能够达到高的整体表现。

May, 2020

我们量化不同语言形态系统的语言复杂度，揭示了屈折范式的大小和不规则程度之间的经验权衡，即一种语言的屈折范式可以是大小大，或高度不规则，但永远不会两者兼备。我们的方法体现了屈折范式的熵 - 即共同预测范式所有表面形式的难度。我们通过变分逼近估计这一问题，并测量这些范例在 31 种类型多样的语言中的表现。

Jul, 2018

本研究通过信息理论操作得出了跨语言非任意性的定量化，结果表明该效应虽有显著性但对整体影响较小，同时提供了大规模检测语言关联性的新方法并得出多个概念在跨语言间存在非任意性的结论。

Apr, 2021

通过引入一种名为系统性词义延伸的新任务（SWORME），我们发现语言模型更倾向于对词义进行渐进性的词汇语义变化，特别是逻辑转喻，但在预测高度非字面意义延伸（如隐喻）方面表现较差。我们提出了一种基于类比的词义扩展方法，并证明它在使语言模型对渐进性和根本性的词义延伸更具系统性方面发挥了有效作用。此外，我们进一步证明，学习系统性的词义延伸有助于语言模型在多个象征语言理解基准上的表现。

Nov, 2023

我们证明一个定理，即任何语义都可以被编码为组合语义，这意味着，本质上，组合性的标准定义是形式上的空洞。我们随后证明，当要求组合语义是 “系统化” 的（即意义函数不能是任意的，而必须属于某个类别），就可以区分组合性和非组合性语义。因此，我们相信这篇论文阐明了组合性的概念，并开辟了对不同语法系统进行系统形式比较的可能性。

Mar, 1995

本论文引入了一种精确的语义信息理论，该理论将语义信息定义为物理系统对其环境的句法信息，这种关联对于系统维持其低熵状态的原因至关重要，同时分析了语义信息的热力学和价值相关概念

Jun, 2018

本研究研究了自然语言的名词语法变化，发现形式和语义对名词分类至关重要，尤其是在捷克语和德语中，能够为名词的语法变化提供很大的信息量，并且在不同语言中这种变化的差异性也存在。

May, 2020

通过定量研究 Wordnet 数据库的语义网络结构，我们发现语义链接遵循自组织网络的幂率尺度不变行为，而多义词作为一个单词在语义网络中起到了联系不同含义的作用。包含多义链接会对语义图的组织产生深远的影响，形成了一个小世界，并呈现出高流量聚类（枢纽）代表抽象概念。因此，我们的结果表明，多义词组织具有紧凑和分类的表现形式，并可能解释多义词在各种语言中的普遍存在。

Jun, 2001

人类语言是一种独特的自然界沟通方式，其系统性在于信号可以分解为词汇并通过一种规则方式组合成句子，且通过最小化过剩熵的方式实现自然语言一致性，进而达到高效的沟通和信息处理。

May, 2024