本研究提出了一种使用预训练语言模型构建分类树（例如，WordNet）的方法，该方法包括预测父子关系和协调这些预测结果以形成树的两个模块。研究表明，该方法在构建英语 WordNet 子树的任务上取得了很好的成果，并在 Open Multilingual WordNet 上将结果扩展到其他九种语言。

Oct, 2020

PhyloLM 是一种应用系统发育算法于大型语言模型的方法，它探索了它们的微调关系并预测其性能特征。通过利用系统发育距离度量，我们构建了树状图，满意地捕捉到不同 LLM 族群（包括 77 个开源和 22 个闭源模型）。此外，系统发育距离能够预测基准测试中的性能（我们测试了 MMLU 和 ARC），从而实现对 LLM 能力的时间和成本效益估计。该方法将遗传概念转化为机器学习，为推断 LLM 的发展、关系和能力提供了工具，即使在透明训练信息缺失的情况下。

Apr, 2024

本文提出了一种新的神经网络模型，在长支吸引（LBA）情况下优于标准的系统发育方法和其他神经网络实现方式，并且与现有的神经网络模型不同之处在于，我们的模型自然考虑到树的同构性，通过排列不变函数这一方法得出的结果在内存使用上更为高效，并可无缝地扩展到更大的树。

Jan, 2022

利用 Hugging Face LLMs 的系统性命名法，通过使用 n-grams 和词频 - 逆文档频率进行层次聚类，我们成功地识别出一个个 LLMs 家族，并将其准确地聚类成有意义的子群。我们还提供了一个公共网络应用程序，用于浏览和探索我们的 LLMs 地图 Constellation。Constellation 可以快速生成各种可视化，包括树状图、图表、词云和散点图。Constellation 可在以下链接中访问：this https URL。

Jul, 2023

这篇论文提出了一种能够评估预训练语言模型在捕捉复杂的分类关系方面能力的无任务评估方法，并通过实验证明预训练语言模型隐式编码的词汇 - 语义知识并未始终捕捉到层次关系。此外，作者进一步展示了注入这种评估方法能够改善预训练语言模型对层次关系的理解，并通过对分类体系重构、上位词发现和阅读理解任务的评估表明，层次结构的知识在不同任务间有一定的但不系统的传递性。

Dec, 2023

通过 Bayesian 方法，提出一种基于出现历史性状的二元数据，从中估计具有时间深度的祖先树的模型分析，该方法基于出现历史性状的重要类别 (homology classes)，并使用基于一种出生死亡过程 (birth-death process) 的模型来构建。

Nov, 2007

我们提出了一种基于图神经网络的深度自回归模型 ARTree，可以灵活地设计概率模型并解决系统发生推断问题，通过学习可学习的拓扑特征来对树的拓扑结构进行建模，并提供了一系列包含简单采样算法和密度估计过程的树拓扑空间分布，无需使用启发式特征。我们在具有挑战性的真实数据树拓扑密度估计和变分贝叶斯系统发生推断问题的基准测试中证明了我们方法的效果和效率。

Oct, 2023

该论文提出了一种基于损失函数空间度量的模型诊断方法，通过预测故障源，解决了模型训练实验配置未知的情况下的分类问题，并在实践中验证了其优势。

Jun, 2024

通过 Ethnologue 专家分类的比较，对使用全球语言数据库进行语系重构的距离方法进行了全面调查和准确性评估，并量化了数据库的完整性和覆盖范围对重构准确性的影响。

Mar, 2011

本文提出了一种有效追踪和检测人工智能生成上下文的方法，并介绍了一种利用对比特征提取模型特征来追踪文本来源的新算法，该算法可以适用于各种大型语言模型的检测和跟踪，并提供了关于实验结果的有价值观察，如人工智能起源的难度和人工智能起源的相似性，并呼吁对所有大型语言模型提供者的道德问题进行关注。

Apr, 2023