本文探讨了一种新的知识传递范式，旨在通过从在完全图上训练的教师 GNN 模型到在更小或更稀疏的图上操作的学生 GNN 模型提炼知识来将图拓扑信息编码到图神经网络（GNNs）中。作者提出了神经热核（NHK）并得到了一种基于 NHKs 对齐的基础和原则性解决方案，称为几何知识蒸馏。我们开发了非参数化和参数化实例，并在不同类型的特权拓扑信息和师生方案的各种实验设置中证明了它们的效果。

Oct, 2022

本文是介绍深度学习、几何深度学习和图神经网络的简要论文，重点介绍了评分函数和损失函数这些算法的关键成分，以及模型训练的主要步骤。

May, 2023

基于几何深度学习的时态图卷积网络（GCN）用于降水预报，通过优化训练过程中预测与真实像素值之间的 L1 损失来自动学习模拟栅格单元间的相互作用的邻接矩阵，并通过 GCN 层对空间关系进行优化，并使用不同核长度的一维卷积提取时间信息，最终结果通过邻域信息作为辅助输入层来改善，实验结果表明 GCNs 可提高云形的局部细节建模和预测准确性，从而降低误差度量。

Sep, 2023

通过统一的几何原理，深度学习可以更好地揭示基本规律，提供数学框架来研究卷积神经网络、循环神经网络、图神经网络和变压器网络等神经网络，且可以将物理学知识结合到神经网络结构中，从而提供了未来神经网络结构的原则性方法。

Apr, 2021

我们开发了一个基于图形的框架来表示最佳热管理系统设计的各个方面，旨在快速高效地识别最佳设计方案。通过图形框架，我们生成多样的热管理系统体系结构，对这些系统体系结构在各种负载条件下建模，并利用开环最优控制器确定每个系统的最佳性能。利用图神经网络模型训练预测性能，我们对剩余数据集进行性能估计，并利用估计值对测试数据进行排序，提供优先评估设计方案的能力。结果显示，通过此方法能够显著降低 92% 以上的系统动态建模和最优控制分析所需的工作量，以识别最佳设计方案。

Nov, 2023

本文主要探讨了几种几何深度学习问题以及目前存在的解决方案、主要困难、应用和未来研究方向。这些问题涉及非欧几里得域，需要使用结构化的深度神经模型来解决。

Nov, 2016

开发了一种热力学理论用于机器学习系统，与物理热力学系统相似的是，机器学习系统也具有能量和熵的特征。我们引入了温度的概念，并建立了一个基本的热力学框架来处理具有非 Boltzmann 分布的机器学习系统。我们将机器学习系统看作具有不同状态的系统，并将模型训练和更新解释为状态相变的过程。我们将机器学习系统的初始潜在能量描述为模型的损失函数，并遵循最小潜在能量原则。我们推导了系统在相变过程中的温度，突出温度作为系统数据分布和机器学习训练复杂性的重要指标。此外，我们将深度神经网络视为具有全局温度和每层局部温度的复杂热能引擎，并介绍了神经网络的工作效率概念，主要取决于神经激活函数。然后，我们根据工作效率对神经网络进行分类，并将神经网络描述为两种类型的热能引擎。

Apr, 2024

基于几何信息传递的数学预备知识，本论文从现有模型的角度提供了对几何图神经网络的统一视角，并总结了其应用以及相关数据集，以促进后续方法开发和实验评估的研究，同时还讨论了几何图神经网络的挑战和未来潜在方向。

Mar, 2024

本文提出基于量子参数电路的新型量子图卷积神经网络（QGCN）模型，利用量子系统的计算能力实现传统机器学习中的图分类任务，并在图数据集上呈现了良好的性能。

Jul, 2021

本文提出了一种称为 TGN 的新型深度学习框架，可以有效地在动态图形学中学习演化特征或连接。

Jun, 2020