GradSign: 基于理论洞察的模型性能推理
signSGD 可通过传输最小批次随机梯度符号来缓解学习分布在多个 worker 上时的通信效率问题，在实际应用中，其动量对应项能够匹配 Adam 算法在深层 Imagenet 模型上的精度和收敛速度。高斯定理证明 sign-based 优化方法对于通信效率和收敛速度的提高具有巨大潜力。
Feb, 2018
本文提出了一种名为 GradDrop 的概率掩码过程，旨在优化多任务和迁移学习设置下的多损失训练，并揭示最优多损失训练与梯度随机性之间的联系。
Oct, 2020
利用反事实梯度的方差作为信任度量衡，提出了 GradTrust 来探测大规模神经网络的误判率，并在 ImageNet 和 Kinetics-400 数据集上进行验证，结果表明 GradTrust 在 37 个实验模式中表现得最好。
May, 2024
本文研究 Bayesian 神经网络，使用 Monte-Carlo NNGP 推断方法得到 NNGP 性能，探讨其在神经架构搜索中的应用，发现 NNGP 性能具有成本低廉、独立于训练度量且可以用于缩小大搜索空间或提高基于训练的性能度量的优点。
Nov, 2020
本文介绍了一种基于度量嵌入学习的方法，利用相似性（和不相似性）来进行文本到手语的翻译，并说明了如何选择手语的正负例进行相似性测试。在 RWTH PHOENIX-Weather-2014T 基准数据集上的测试中，使用 SignNet 模型取得了比现有技术更好的表现。
Dec, 2022
本文研究神经架构搜索中的优化问题，提出一种基于单层经验风险最小化的几何感知框架，结合梯度下降和正则化的优化器，通过基于连续优化的松弛方法实现对离散寻找空间的搜索，成功为计算机视觉中的最新 NAS 基准提供了一种优异的算法。
Apr, 2020
基于信号的方法是一种能够在参数更新时只使用符号信息而实现稳健性能的方法。本文重新审视了基于信号的方法，并在更现实的一阶和二阶平滑性的假设下分析了其收敛性。基于我们的理论结果，我们对最近开发的 LION 算法的计算优势有了深入的了解。在分布式环境中，我们证明了当利用快速通信压缩传播协议时，这种非凸加速度随着节点数量的线性加速性仍然存在。我们的理论结果的新颖之处在于它们是在更弱的假设下得出的，从而扩展了基于信号算法可适用于更广泛问题范围的可证明应用性。
Oct, 2023
该研究提出了一种基于梯度匹配得分的 Few-Shot NAS 方法，通过对多个超网进行边级分区来减小权重共享带来的误差，极大地减少了搜索成本，并在各种数据集、搜索算法下展开的广泛实证评估表明，该方法在搜索效果方面有明显的提高。
Mar, 2022
本文提出了一个统一的理论分析框架来研究基于梯度的免训练神经构架搜索方法，从而理论上研究它们之间的关系、保证它们的泛化性能并开发一种名为 Hybrid NAS (HNAS) 的新框架，它在原则上可以持续提高训练免费 NAS 的效果。
Jan, 2022
本研究通过使用数据增强技术解决了当前基于 SGNN 的有向图表示学习所面临的稀疏性、不平衡三角形和缺乏附加信息的挑战，并引入了一种新颖的有向图增强框架（SGA），通过 SGNN 模型编码有向图、提取潜在结构信息并评估候选样本，最终改善了多个性能指标。
Oct, 2023