全球气候变化加剧，将转向可持续能源的必要性日益突出。本文介绍了一种用于航拍图像中太阳能电池板分割的 SolarFormer，并通过多尺度 Transformer 编码器和自注意力 Transformer 解码器解决了诸多复杂性，改进了太阳能电池板定位。通过在不同 GSD 的多个数据集上进行广泛实验，我们严谨地评估了 SolarFormer 模型，结果表明其在全球可持续能源倡议中提供了改进的太阳能电池板分割性能。

Oct, 2023

采用自我监督学习（Self-Supervised Learning）的方法可以显著提高模型的泛化能力，在各种条件下减少对手动标注数据的依赖，为稳健且适应性强的太阳能板分割解决方案铺平了道路。

Feb, 2024

提出 SolNet: 一种新颖的、通用的、多变量的太阳能发电预报模型，通过使用来自 PVGIS 的丰富合成数据进行迁移学习，然后在观测数据上进行微调，解决了太阳能预测中数据匮乏的挑战，并通过荷兰、澳大利亚和比利时的实际生产数据展示了其在预测性能上的优势。

May, 2024

该研究提出了一种新的基于自注意力转换器的混合方法，称为 MATNet，用于预测多元多步骤日前光伏发电量。MATNet 模型有效地结合了 AI 模型的优势与基于物理知识的模型，以提高光伏预测的准确性。

Jun, 2023

本文提出了一种半监督的基于 Transformer 框架的 TreeFormer 方法，通过采用金字塔表示模块、上下文关注的特征融合和树密度回归模块来建立多尺度特征表示，进而通过图像解码器实现对树的数量统计和密度估计，降低了树的标注成本，通过在训练过程中使用未标注的图像和局部树密度的连贯性损失和局部树计数排名损失，使用 Tree counter 令牌规范网络可以计算标注和未标注图像的全局树计数，在 Jiangsu、Yosemite 和 KCL-London 数据集上进行实验，结果表明该方法超越了当前半监督方法的最新水平，并且使用相同数量的标注图像超越了全监督方法。

Jul, 2023

RSFormer 是一种高效有力的 Transformer，专门用于消除受天气影响的图像中的雨迹和雪花，它通过将 ConvNets 和 Vision Transformers 在分层结构中的接近度结合起来，利用替代自注意力机制的 Transformer-like 卷积块 (TCB) 以适应输入内容，并提出了全局 - 本地自注意力采样机制 (GLASM)

Apr, 2023

通过基于深度自注意力网络的创新方法，在自动化电气设备巡检方面提供了突破性的新视角，通过使用高分辨率图像提高了识别精度，并通过引入图像的语义内容来进一步改善了预测效果。

Nov, 2023

利用自适应细粒度的全局自注意力，SG-Former 模型通过重分配代币实现了高性能，其基本模型在 ImageNet-1K 上达到了 84.7％的 Top-1 准确率，在 CoCo 上达到了 51.2mAP 的 bbAP，在 ADE20K 上达到了 52.7mIoU 的准确率，超过了 Swin Transformer 模型，而计算成本和参数较少。

Aug, 2023

本文提出应用自适应修剪技术来改进医学图像分割的 transformer 模型。我们的自适应修剪 transformer 的方法名为 APFormer。该模型使用自监督的自我注意机制和高斯先验相对位置嵌入来改进依赖信息建立。我们的实验表明，APFormer 在可用参数更少、GFLOPs 更低的情况下，是目前最好的模型之一，并证明了自适应修剪技术可以作为插入式模块，用于改进其他混合 / 变压器方法的性能。

Jun, 2022

提出了一个基于领域自适应深度学习的框架来估计太阳能发电量，该框架利用天气特征来解决太阳能发电预测中的挑战。该方法在计算速度、存储效率和改善预测准确性方面在加利福尼亚（CA）、佛罗里达（FL）和纽约（NY）等地的太阳能发电预测中显示出明显优势。

Jan, 2024