Feb, 2023

AttentionMixer: 一种准确且可解释的过程监控框架

PDF
TL;DR为了确保高效能转换设备的安全运行，本文提出了一种名为 AttentionMixer 的数据驱动方法，通过使用广义消息传递框架，在建立辐射监测框架的同时实现了准确性和可解释性的目标。借助于空间和时间自适应消息传递块、混合运算器，以及稀疏消息传递正则化器等技术手段，改善了现有数据驱动监测方案在准确性、稳定性和可解释性等方面遇到的限制。在通过对全国核电站辐射监测数据集的广泛评估后，AttentionMixer 方法在实践中取得了显著的监测精度和解释性。
automatic monitoring systemenergy conversion plantsdata-driven approachattentionmixerinterpretability
发现论文，激发创造
  • ATOM: 高效数据集提炼的关注力混合器

    利用 ATtentiOn Mixer (ATOM) 模块在特征匹配过程中使用混合的通道和空间注意力，以有效地精炼大型数据集，从而在各种计算机视觉数据集中展现出卓越的性能。

    May, 2024

  • 基于注意力机制的卫星图像散射网络

    利用散射变换从多通道卫星图像中提取高级特征，并引入分离方案以关注独立输入通道，通过实验对热带气旋强度估计和卫星图像中雷电预测显示出有希望的结果。

    Oct, 2022

  • 能效操作的注意力机制

    本文针对自然语言处理模型中的计算密集型注意机制，从能源消耗的角度重新设计了注意机制的变体，将大量耗能的乘法替换成选择性运算或加法，通过三个机器翻译任务的实验结果表明，该模型在节省 99％和 66％的能量的同时，获得了可比较的准确性。

    Apr, 2022

  • 基于注意力机制的频率多任务学习用于电力系统故障检测

    本文介绍了一种基于深度学习的故障检测方法，利用高精度的数据采集设备收集数据来训练模型，并使用长短时记忆网络和一维卷积神经网络来提取时序特征和频率信息进行故障预测，在 Kaggle 平台上的结果表明该方法具有更好的性能和解释性。

    Sep, 2020

  • 使用注意力模型挖掘 SoC 消息流

    利用深层序列建模和注意机制，从 SoC 通信跟踪数据中推断准确的流规范，以克服现有挖掘工具 often often 面临的复杂性挑战，实验证明该方法胜过多种现有工具。

    Sep, 2022

  • Mixer 不仅仅是一个模型

    这篇研究论文介绍了一种名为 ASM-RH 的新型模型，它结合了时间和频率域的特点，特别适用于音频数据，并在多个分类任务中取得了有希望的成果。

    Feb, 2024

  • 基于 Transformer 的医疗过程监测中的结构位置编码

    基于 transformer 和本体领域特定知识的预测性流程监控方法， 在中风管理领域取得了有希望的实验结果。

    Mar, 2024

  • 可解释序列分类的迭代递归注意力模型

    介绍了一种迭代递归注意力模型，通过重用以前计算的查询结果来构建输入数据的递增表示，以便在情感分类数据集上训练，并演示其在易于解释的方式下识别和组合输入的不同方面的能力，同时获得接近最先进性能。

    Aug, 2018

  • MTS-Mixers: 因式分解时空和通道混合进行多元时间序列预测

    本文研究关注机制在时间序列预测性能上的作用，提出 MTS-Mixers 来解决捕获时间和通道互动中的交错和冗余问题，并证明了关注机制不是捕获时间依赖关系的必要条件。

    Feb, 2023

  • 基于知识驱动的具有注意机制的神经网络调制方法用于下一步活动预测

    预测性过程监控 (PPM) 旨在利用历史过程执行数据预测正在进行的执行将如何持续到完成。本文介绍了一种基于符号化过程模型的背景知识的 Symbolic [Neuro] 系统，以解决训练数据下采样的问题，并使用关注机制的神经网络进行预测，该系统在多个实际日志上进行了测试，显示了预测任务性能的提升。

    Dec, 2023