本研究旨在探索并提出一种并行多尺度表示学习方法，利用自注意力和点对点转换，对序列数据进行多尺度编码和建模，实现长距离和短距离结构中的机器翻译任务，该方法在三个主要机器翻译任务中表现优异，并具有加速推理的潜力。

Nov, 2019

本文提出了一种基于不同语言单元（包括子词、单词和短语）之间的关系建立多尺度 Transformer 模型 ——Universal MultiScale Transformer（UMST），实验证明它在几个测试集上都可比存在的流行基准模型获得更好的性能表现，且不影响效率。

Jun, 2022

本文提出了一种用于预测学生标准化考试成绩的 Transformer 架构，通过学生历史数据来创建个性化模型，并采用多种时间特征进行解码以显著提高模型性能，取得了比 LightGBM 方法更好的效果，为 AI 教育领域提供了一种可扩展的准确预测学生学习成果的工具。

Apr, 2023

本研究旨在通过使用卷积操作增强 Transformer 的局部上下文建模能力，提出一种进化神经架构搜索方法来自动选择输入特征，并自动确定何时应用哪种操作以实现局部 / 全局上下文建模的平衡，实验结果表明该方法能有效地找到最优体系结构。

Oct, 2023

在视频文本检索领域，我们提出了一种名为 MSTDT 的变种 Transformer，主要解决了传统 Transformer 对于捕捉本地时间信息能力有限的问题，并通过多尺度时间 Transformer 来提取帧差异特征和整合差异和帧特征来更好地建模动态信息，实现了与 CLIP 等主干网络的全新最先进结果。

Jun, 2024

本研究提出了一种新型的 MTS 分类器 WEASEL + MUSE，通过在每个 MTS 的维度上使用滑动窗口方法提取离散特征，并基于特征选择构建一个小但具有区分性和 MTS 分类有用的特征集。实验表明，WEASEL + MUSE 是一种准确率最高的 MTS 分类器之一，具有良好的鲁棒性。

Nov, 2017

大数据时代使大量的临床数据变得容易获得，特别是以电子健康记录（EHRs）的形式，提供了发展数据驱动诊断工具以增强临床决策的前所未有的机会。然而，将 EHRs 应用于数据驱动建模面临着使时间间隔不规则的多变量时间序列、不完整问题和数据不平衡等挑战。因此，我们提出了一种新颖的适应缺失感知的多分支自注意编码器（MUSE-Net），以应对对数据驱动疾病预测中对长期 EHRs 建模的挑战。MUSE-Net 利用带有缺失值掩码的多任务高斯过程（MGP）进行数据插补，采用多分支架构解决数据不平衡问题，并利用时间感知自注意编码器考虑长期 EHRs 中不规则的时间间隔。我们使用合成和真实数据集对提出的 MUSE-Net 进行评估。实验结果表明，我们的 MUSE-Net 优于广泛用于研究纵向信号的现有方法。

Jun, 2024

该研究通过在自我注意模块中引入先前知识 - 多尺度结构，提出了一种 Multi-Scale Transformer，其使用多尺度多头自我注意来捕捉来自不同尺度的特征，通过对 21 个数据集进行的实验结果表明，相对于标准 Transformer，在小型和中等型数据集上，该多尺度变压器始终具有显着性能优势。

Dec, 2019

SAINT + 是一种基于 Transformer 的知识追踪模型，通过分别处理练习和学生响应信息来实现，加入时间元素的特征嵌入方法使其在教育领域的知识追踪方面取得了最新的成果。

Oct, 2020

Muse 是一种基于遮蔽建模任务在离散令牌空间中训练的文本到图像 Transformer 模型，借助预训练的大型语言模型，实现了高度还原原始文本意图的图像生成能力，同时也能够直接应用于图像编辑等任务。

Jan, 2023