AAAIMar, 2022

云工作负载预测的 Wasserstein 对抗变换器

PDF
TL;DR本文提出了一种名为 WGAN-gp Transformer 的新型时间序列预测模型，它的生成器基于 Transformer 网络，评论家采用 MLP。该方法对真实工作负载跟踪进行了广泛的评估，发现其可达到 5 倍的快速推理时间和高达 5.1% 的预测准确率。同时还将 WGAN-gp Transformer 应用于 Google 云平台的自动缩放机制，发现其优于基于 LSTM 的机制。
predictive virtual machinecloud workloadslstm modelswgan-gp transformerauto-scaling
发现论文，激发创造
  • 自适应深度变压器

    本文介绍了一种 Transformer 模型，它可以在网络的不同阶段进行输出预测，并调整每个步骤所应用的不同图层，以调整计算量和模型容量。通过对 IWSLT 德英翻译的实验，我们的方法与 well tuned 换基础变压器的精度相匹配，同时只使用不到四分之一的解码器层数。

    Oct, 2019

  • 用 Transformer 网络探测水文预测的极限

    本文研究发现，普通 Transformer 结构在水文建模方面的性能不如 LSTM 结构；去除循环结构的变体可以与 LSTM 相媲美，但是与当前最先进技术相比性能并不突出。

    Jun, 2023

  • 基于 Transformer 架构的深度学习用于电力系统短期电压稳定性评估 —— 类别不平衡

    现有的数据驱动电力系统短期电压稳定性评估 (STVSA) 方法假定输入数据的类别平衡。然而，在实际应用中，干扰后出现短期电压不稳定的情况很少，导致严重的类别不平衡问题和分类器性能下降。为解决这一挑战，本论文提出了一种基于 Transformer 的 STVSA 方法。通过利用基本的 Transformer 结构，提出了一种稳定性评估 Transformer (StaaT) 作为分类模型，反映系统运行状态和稳定性结果之间的相关性。为应对不平衡数据集的负面影响，本研究采用带有梯度惩罚的条件 Wasserstein 生成对抗网络 (CWGAN-GP) 用于合成数据生成，帮助创建一个平衡且代表性的训练集用于分类器。此外，还实施了半监督聚类学习来提高聚类质量，解决了短期电压稳定性缺乏统一量化标准的问题。在 IEEE 39 节点测试系统上进行的数值测试广泛证明了所提出方法在类别不平衡达到 100:1 和噪声环境下的鲁棒性，并且即使增加了可再生能源的渗透，方法的有效性仍然保持一致。比较结果表明，CWGAN-GP 生成的数据集更平衡，而 StaaT 优于其他深度学习算法。该研究提供了一个具有说服力的解决方案，适用于经常面临类别不平衡和数据噪声挑战的实际 STVSA 应用场景。

    Oct, 2023

  • 改进的 Wasserstein GANs 训练

    提出了一种比传统的 WGAN 更好的 GAN 训练方法，使用正则化替代权重截取，通过惩罚评判器对其输入梯度的范数，可以实现各种 GAN 结构的稳定训练和高质量生成。

    Mar, 2017

  • 通过平衡内存负载优化改善自动并行训练

    本文介绍了一种系统框架 Galvatron-BMW，集成了多种普遍的并行性维度，并自动识别最高效的混合并行性策略，该系统在不同的 Transformer 模型下展示了 Galvatron-BMW 自动分布式训练的能力。

    Jul, 2023

  • 使用图网络和新型 Transformer 架构进行时空风速预测

    本研究使用图神经网络和不同的 Transformer 架构，探讨风速预测的时空依赖性，提出了 Fast Fourier Transformer 和 Autoformer 架构，使用这些架构的模型在时空预测上的表现优于其他模型。

    Aug, 2022

  • 时序融合 Transformer 用于流量预测：结合注意力与循环的价值

    本文研究了结合循环和注意力的方法是否能够提高水文预测的精度并将 Temporal Fusion Transformer (TFT) 模型应用于水文学领域。在 2600 个以上的全球分布的集水区的实验表明，TFT 模型的表现超过了 LSTM 和 Transformers 模型，并可帮助获得流域产流过程的更多见解。

    May, 2023

  • Wasserstein 条件生成对抗神经网络的稳定并行训练

    提出了稳定且并行的方法，用固定的计算资源训练 Wasserstein 条件 GAN，通过使用多个生成器并避免进程间通信来减少模式塌陷的风险和提高可扩展性。在 CIFAR10，CIFAR100 和 ImageNet1k 数据集上验证了该方法的性能，并以固定计算时间内的可扩展性和最终准确性来评估性能。使用达到 2000 个 NVIDIA V100 GPU 的 OLCF 超算机 Summit 进行弱扩展.

    Jul, 2022

  • 基于远程联系信息的高效亚季节气象预测

    借助预训练的 Pangu 模型和基于电涡流的时间模块，我们的研究提出了一种电涡流通知变压器方法，能够改善未来天气状况的预测能力并提高输出的空间精度。此外，我们的方法还提供了利用现有基础模型进行多功能下游任务的资源高效途径。

    Jan, 2024

  • 应用生成式预测改进长程时间序列预测

    本文提出一种基于生成对抗网络及变换器的长期时间序列预测方法 (GenF), 证明其在预测方差和偏差上更加平衡，实验数据显示该方法在五个公共数据集上表现显著优于其他方法。

    Dec, 2022