在物联网时代，物联网数据的高维和高频率给时序分类或回归带来了挑战，而深度学习算法在智能物联网应用中表现出了优异的时间序列数据分类性能。然而，发现时序中隐藏的动态模式和趋势仍然困难。近期的研究表明，将物联网数据转换为图像可以提高学习模型的性能。本文介绍了在物联网领域中使用图像转换 / 编码技术的研究进展，并根据其编码技术、数据类型和应用领域进行了综述。最后，我们强调了图像转换面临的挑战和未来的发展方向。

Nov, 2023

该研究提出了一种新的主题导向的评估度量方法，用于自动评估生成的摘要与所需主题之间的关联度，并验证了其可靠性，同时提出了将主题嵌入到模型架构中或使用控制标记引导摘要生成的简单而强大的主题可控摘要方法，实验结果表明控制标记比更复杂的嵌入式方法表现更好，并且速度明显更快。

Jun, 2022

本文提出了一种用于预测学生标准化考试成绩的 Transformer 架构，通过学生历史数据来创建个性化模型，并采用多种时间特征进行解码以显著提高模型性能，取得了比 LightGBM 方法更好的效果，为 AI 教育领域提供了一种可扩展的准确预测学生学习成果的工具。

Apr, 2023

本文提出了一种基于 Transformer 的短期太阳辐射预测模型，通过对连续的天空图像进行特征编码，并将其输入 Transformer 解码器，预测与未来未见天空图像相关的辐照值，同时捕捉天空图像之间的长程依赖关系，可实现对所有天空图像数据集在 15 分钟内的辐射预测精度提高至 21.45%，优于智能持久性模型。

May, 2023

利用我们提出的令牌变换效果的度量来将令牌转换效果纳入解释中，通过在模型的所有层中整合注意权重和令牌转换效果，捕捉整体令牌贡献。实验结果表明，与最先进的 Vision Transformer 解释方法相比，我们提出的 TokenTM 方法具有卓越性能。

Mar, 2024

本文介绍了通过使用基于 transformer 的算法来解决 NeurIPS 2022 中的 Weather4cast 挑战，预测在接下来的 8 小时内的降雨事件，并通过将不同的 transformer 和基线模型进行集合，获得了最好的性能。

Dec, 2022

该论文提出了一种名为 ALTI 的方法，通过考虑注意力模块（multi-head attention, residual connection and layer normalization）以及定义一种新的度量方法来测量各层之间的令牌交互，从而提供更准确的输入归因分数以解释模型预测，在实验中显示 ALTI 比基于梯度方法更好地提供了模型预测的解释，提高了模型的鲁棒性。

Mar, 2022

通过将 transformer 架构与 Proximal Policy Optimization（PPO）相结合，本文引入了一种新颖的框架来解决物联网应用中复杂环境下智能决策中的挑战，通过利用 transformer 的自注意机制，增强了强化学习代理在动态物联网环境中的理解和行动能力，从而提高了决策过程的效率。通过在智能家居自动化和工业控制系统等各种物联网场景中进行实证实验证明了该方法的有效性，显示了决策效率和适应性的显著提高。该研究的贡献包括对处理异构物联网数据中 transformer 的作用进行详尽的探索，对框架在不同环境中性能的全面评估，以及与传统强化学习方法进行的基准测试。结果表明该方法显著提高了强化学习代理在物联网生态系统中应对复杂性的能力，凸显了该方法在物联网领域智能自动化和决策制定领域的潜力。

Apr, 2024

Telescope 是一种基于机器学习的新型预测方法，自动从给定时间序列中提取相关信息并分割成多个部分进行处理，不需要参数化或训练拟合多个参数，只需要一个时间序列，能够在几秒内提供准确可靠的预测结果，而不对分析的时间序列做任何假设。

Sep, 2023

本研究提出了一种通用的多尺度框架，可应用于当前最先进的基于 Transformer 的时间序列预测模型，通过多尺度共享权重迭代地改进预测的时间序列，引入架构适应和特殊设计的标准化方案，可在不增加过多计算负担的情况下，将性能从 5.5％提高到 38.5％，详细的消融研究表明了每个贡献在架构和方法上的有效性，进一步证明了所提出的改进优于其对应的基线模型，代码公开在此 https URL。

Jun, 2022