Jul, 2023
使用梯度累积优化技术评估 Swin Vision Transformer 模型的性能
Performance Evaluation of Swin Vision Transformer Model using Gradient Accumulation Optimization Technique
Sanad Aburass, Osama Dorgham
TL;DR评估了使用渐进积累优化(GAO)技术的 Swin ViT 模型的性能,发现与标准的 Swin Transformer 模型相比,应用 GAO 技术导致了 Swin ViT 模型的准确性显著降低,同时训练时间显著增加,因此在使用 GAO 技术时,应当谨慎考虑适用于其他基于 Transformer 的模型。