通过重新设计模型配置，如 embedding、early stopping、相对位置嵌入和 Universal Transformer 变体等基本元素，我们可以显著提高 Transformers 在系统泛化方面的性能，同时在 PLE、COGS、SCAN 等数据集上显示性能的提高，从而表明在开发具有系统性泛化能力的神经网络时需要恰当的泛化验证集。

Aug, 2021

本研究探索了跨任务和领域的统一建模，通过使用离散的、学到的时间序列数据表示方法来实现通用、跨领域训练。我们提出了一种名为 TOTEM 的简单的分词架构，它使用自监督学习的方式来嵌入来自不同领域的时间序列数据。通过在 17 个真实世界的时间序列数据集上进行广泛评估，我们研究了 TOTEM 方法的有效性，涵盖了 3 个任务。我们对专家模式（在每个领域上训练模型）和通用模式（在多个领域上训练单个模型）进行了评估，并展示 TOTEM 在几个常见基准测试中能够达到或超过先前最佳方法的效果。

Feb, 2024

Temporal Graph Neural Networks 和 Transformers 结合，提出了一种用于动态图的新型 Transformer-based 神经网络 Todyformer，它通过将 MPNNs 的局部编码能力与 Transformers 的全局编码能力相结合来改善性能限制，并通过时间位置编码捕捉长距离依赖关系，实验证明在公共基准数据集上 Todyformer 在下游任务中 consistently 超过了最先进方法，并且在捕获动态图中广泛的时间依赖关系方面具有有效性。

Feb, 2024

本文提出了 Biosignal Transformer 模型，通过将不同的生物信号令牌化成一致的 “生物信号句子”，添加通道嵌入和相对位置嵌入等技术，实现跨数据集学习，适用于不同数据格式的多个生物信号学习，并在 EEG、ECG 和人类活动感官信号上进行了综合评估。

May, 2023

介绍了大型语言模型（LLMs）在移动健康感知等人类中心任务中的使用，并通过案例研究证明了目前流行的 LLMs 对于时间数据的分词处理存在错误，提出了解决方案如轻量级嵌入层调整和多模态适配器来弥合模态差异。该论文强调了语言模型在处理输入细微差别时无法产生有意义的输出。

Sep, 2023

本文研究了自然语言处理模型中，关于深度神经网络的推广问题，提出了几种新的推广度量标准并作了实证研究。研究表明，通过拟合嵌入矩阵的形状的度量标准与与推广表现有着更强的相关性。

Feb, 2022

本篇论文探讨了 Transformer 网络用于分类清洗和预处理后的脑电图（EEG）数据的有效性和性能，结果表明，基于 Transformer 的深度学习模型可以成功地消除对 EEG 数据特征提取的需求，实现了脑电图数据的高效分类。

Feb, 2022

调查了 Transformer 大型语言模型在涉及抽象符号的关系推理任务中的能力。对于 (i) 回归任务，我们证明了 Transformer 在训练时具有泛化性，但需要大量的训练数据；对于具有符号标签的 (ii) 下一个令牌预测任务，我们展示了一种 “反比例尺律”：随着嵌入维度的增加，Transformer 无法泛化。针对 (i) 和 (ii) 这两种情况，我们提出了微妙的 Transformer 修改，通过每个头部添加两个可训练参数来减少所需的数据量。

Oct, 2023

本研究研究了同一神经网络架构在同一数据集上多次训练后是否在不同运行中进行相似的语言概括，通过在 Multi-genre 自然语言推理（MNLI）数据集上微调 100 个 BERT 实例并在评估自然语言推理中的句法概括的 HANS 数据集上对它们进行了评估，这类变异很可能是由于在局部极小值处的神经网络中出现的损失函数梯度等的不同选择而存在的，而减少变异可能需要具有更强归纳偏差的模型。

Nov, 2019

通过探索 Transformer 模型的设计空间，我们发现一些设计上的决策对该模型的归纳偏差有很大的影响。我们发现这些决策可以显著地提高 Transformer 模型的组合泛化能力，并在各种复合任务中实现了比文献报道的更好的泛化结果，并在语义分析组合泛化基准（COGS）和字符串编辑操作组合基准（PCFG）中实现了最先进的结果。

Aug, 2021