范畴表示学习：态射是必需的
大型语言模型的表示空间中如何编码语义含义是可解释性中的一个根本问题。本文研究了这一领域的两个基本问题：第一，如何表示类别概念，如 “哺乳动物”、“鸟类”、“爬行动物”、“鱼类” 等；第二，如何编码概念之间的层级关系，例如 “狗” 是 “哺乳动物” 的一种。我们通过扩展线性表示假设来回答这些问题，并发现了一个非常简单的结构：简单的类别概念被表示为单纯形，具有层级关系的概念在某种意义上是正交的，并且（作为结果）复杂的概念被表示为由单纯形的直和构成的多面体，反映了其层级结构。我们使用来自 WordNet 的数据验证了这些理论结果，在 Gemma 大型语言模型上估计了 957 个具有层级关系的概念的表示。
Jun, 2024
本文利用类别和语言之间的类比，定义了一个概率生成模型，用于特定领域生成对象和态射，证明了无环有向连通图可以模拟态射的规范，并使用后验变分推断实现了参数学习和隐变量推理。通过实验表明，自由范畴先验在 Omniglot 数据集上实现了有竞争力的重建性能。
May, 2022
本研究提出了 NECA，一种针对分类数据的深度表示学习方法，它将网络嵌入和深度无监督表示学习基础上，深度嵌入属性值之间的内在关系，并显式地用数值向量表示数据对象。NECA 可支持如聚类等重要的下游数据挖掘任务，并通过广泛的实验分析证明了其有效性。
May, 2022
本文提出了三种知识图谱表征模型，分别是 HypER、TuckER 和 MuRP，它们都能够自动预测缺失的关系，并且在性能方面不断取得进步。同时，该文还将最新的理论研究成果推广到了知识图谱的领域，探讨了如何在这些模型中编码不同种类的关系。
Jan, 2022
本文讨论了一种名为 RG-flow categorifier 的新型算法自然语言处理体系结构，该算法可用于数据分类和生成，特别应用于生物医学数据集，用于序列到功能的映射，并针对流感病毒基因组序列的隐含对称性和显性特征进行分类和预测。
Mar, 2022
加入原型引导的源端表示式，减少稀疏性和过拟合，以提高神经机器翻译的组成泛化性能。实验结果表明，该方法在多个机器翻译数据集上比 Transformer 基线方法表现更优。
Oct, 2022
我们提出了一种基于镜头、参数化映射和反向导数范畴的机器学习算法的分类语义学。这一基础提供了一个强大的解释性和统一性框架：它包括了各种梯度下降算法，如 ADAM、AdaGrad 和 Nesterov 动量，以及各种损失函数，如 MSE 和 Softmax 交叉熵，以及不同的架构，揭示了它们的相似性和差异。此外，我们的学习方法超越了熟悉的连续领域的示例（在光滑映射范畴中建模），并且可以应用于布尔电路和多项式电路的离散环境。我们通过 Python 实现展示了我们框架的实际意义。
Mar, 2024