ECToNAS 是一种成本效益高的进化交叉拓扑神经架构搜索算法，它不需要任何预训练元控制器。该框架能够为不同的任务和超参数设置选择适当的网络架构，在需要时独立进行交叉拓扑优化。这是一种将训练和拓扑优化融合为一个轻量级、资源友好的过程的混合方法。我们通过六个标准数据集（CIFAR-10，CIFAR-100，EuroSAT，Fashion MNIST，MNIST，SVHN）展示了这种方法的有效性和能力，展示了该算法不仅能够优化同一种架构类型内的拓扑，还能够在需要的时候动态添加和删除卷积单元，从而跨越不同网络类型的边界。这使得没有机器学习背景的研究人员能够利用合适的模型类型和拓扑，在其领域应用机器学习方法，使用一种计算成本低、易于使用的交叉拓扑神经架构搜索框架，完全将拓扑优化嵌入到训练过程中。

Mar, 2024

本研究提出了一种新的自动化机器学习（AutoML）框架，通过演化图神经网络（GNN）模型来寻找最合适的结构和学习参数，并在半监督和归纳式节点表示学习和分类任务上展示它的性能。

Sep, 2020

本研究旨在使用神经架构搜索技术应用于 Transformer 结构中，通过进化架构搜索技术，探索发现了性能更好的替代模型 Evolved Transformer，该模型不仅在 WMT 2014 英德翻译任务上取得了新的性能最优结果，且在模型容量更小的情况下性能优于原始模型。

Jan, 2019

通过元优化的方式，引入一种能够灵活表征一系列进化策略的因果 Transformer 架构 ——Evolution Transformer，用于从数据中直接发现强大的优化原理。通过 Evolution Transformer，结合进化算法蒸馏技术进行模型权重训练，我们得到一个在特定上下文中表现良好且能够很好泛化到其他具有挑战性的神经进化任务的模型。此外，我们还分析了 Evolution Transformer 的属性，并提出了一种全自引用训练的技术，从随机初始化开始并引导其自身的学习进程。我们提供了一个开源实现，网址为 https://<URL>

Mar, 2024

Transformer 的图表示学习中，通过引入 Graph External Attention 提出了一种新的关注机制来隐式捕捉图之间的相关性，进而用于设计了更全面的图表示框架 GEAET。通过在基准数据集上进行的实验证明，GEAET 达到了最先进的经验性能。

May, 2024

该论文提出了一种名为 Edge-augmented Graph Transformer (EGT) 的框架来处理任意形式的结构数据，其中使用全局自我关注作为聚合机制，并通过边缘通道来演化结构信息，从而在图结构数据的学习任务中超越了卷积 / 消息传递图神经网络，并在 OGB-LSC PCQM4Mv2 数据集上实现了量子化学回归任务的最新性能。

Aug, 2021

我们提出一种基于神经网络的图演化算法，在解决自动机器人设计中的组合问题和评估困难问题方面具有优越性能。与以往方法不同，我们使用图神经网络对控制策略进行参数化，同时运用包含模型不确定性的图突变技术，在探索与开发之间达到平衡，从而在单一机器上一天之内高效地解决搜索问题。

Jun, 2019

该研究提出了一种图形变换器结构的分类体系，展示了其在分子预测等方面的潜力，探究了其在处理异质性图形及防止过多压缩等方面的效果，并提供了未来研究的方向和挑战。

Feb, 2023

本文提出了一种训练无需的 Transformer 架构搜索方法，使用 DSS 指标评估 ViT 架构的突触多样性和突触显著性，从而大大提高了在 ViT 搜索空间的效率，并取得了与手动设计和自动设计的 ViT 架构一样好的性能表现。

Mar, 2022

通过全球节点和超边之间的全球关联以及捕捉节点和超边之间的局部连接性，提出了一种新颖的超图学习框架，称为 HyperGraph Transformer（HyperGT），该框架利用基于 Transformer 的神经网络结构来有效地处理超图结构化数据，实现了全面的超图表示学习，并在超图节点分类任务中取得了出色的性能，超过了现有方法，建立了新的基准水平。

Dec, 2023