Jun, 2024

预训练模型中的关系学习:来自超图恢复视角的理论

TL;DR基础模型具有对世界关系动态的显著洞察力,但它们如何获得对世界混合关系的理解是一个关键问题。本研究引入了一个数学模型,将关系学习形式化为超图恢复,以研究基础模型的预训练。我们的框架将世界表示为一个超图,数据抽象为超边的随机样本。通过将丰富的图论集成到预训练模型的领域中,我们的数学框架提供了强大的工具,以独特的视角深入理解预训练,并可在各种场景下使用。作为示例,我们将该框架扩展到多模式学习中的实体对齐问题。