该研究介绍了一种名为 Seismogram Transformer（SeisT）的新型骨干神经网络模型，用于各种地震监测任务，包括地震检测、相位拾取、正负首动分类、震级估计和方位估计。通过对输入地震图的多层级特征表示的理解，该模型能够从低级到高级复杂特征有效地提取频率、相位和时频关系等特征，展示了 SeisT 在推进地震信号处理和地震研究方面的能力和潜力。

Oct, 2023

通过使用变压器（Transformer）为基础的深度学习模型，我们提出了一种名为 Xi-Net 的模型，它利用多方位的时间和频域输入来准确重建地震波形。我们通过填充随机间隙来证明该模型在 120s 波形中表现出色，与原始波形非常接近。

Jun, 2024

提出了一种将事件检测和源位置统一到单一框架的方法，通过适应具有基于卷积神经网络骨干结构和编码器 - 解码器变压器的集合匈牙利损失，直接应用于记录的波形，实现了实时微地震监测的潜力。

Jul, 2023

通过自监督预训练方法来增强地震断层识别，在地球物理学和地质学领域具有重要意义。我们引入了自监督学习的概念，利用大量相对容易获得的无标签地震数据进行预训练，并在微调阶段对核心网络进行了改进，以实现更有效的断层检测。实验结果表明，我们提出的方法在 Thebe 数据集上达到了最先进性能。

Oct, 2023

本文提出了用卷积学习输入表示替换变形器的正弦位置嵌入，并阐述其在提供长程关系方面的优势和优化特点，最终实现了在无额外语言模型文本下，librispeech 测试中 4.7％和 12.9％的字错率。

Apr, 2019

通过在自注意力网络中采用相对位置编码方案，我们成功地让 Transformer 模型适应了语音数据的分散分布特点，并在 Switchboard 基准测试中获得了最佳识别结果，也在 MuST-C 语音翻译基准测试中获得了最佳出版结果，并且我们的模型能够更好地利用合成数据，并适应语音翻译的变量句子分割质量。

May, 2020

无监督学习在睡眠分期方面的研究表明，应用全面的预训练方案能够显著提高性能，减少所需的标记训练数据，因此建议在睡眠分期的自监督学习研究中采用这种方法。

Mar, 2024

提出了一种基于低位移秩概念的结构化变换方法，能快速优化深度学习模型在储存和功耗受限移动设备上的部署，通过参数共享的各种配置实现结构化到非结构化的统计建模，并在关键词检测应用中显著提高推理速度和轻量化程度，表现优于目前的技术。

Oct, 2015

本文研究了基于深度自回归 Transformer 模型在语言建模和语音识别中的应用，探索了配置 Transformer 模型进行语言建模的方法和深度 Transformer 语言模型是否需要位置编码，证明了深度 Transformer 语言模型可以自动利用序列中的位置信息，并能在语音识别模型中得到应用。

May, 2019

通过利用 Transformer 模型来捕捉不同测量结果之间的相关性，本研究提出了一种基于注意力机制的量子状态重构方法，能够高效地恢复纯态和混合态的密度矩阵。

May, 2023