我们通过引入 TransFusion，一种基于扩散和变换器的生成模型，生成了高质量、长序列的时间序列数据，并引入了两种评估度量来评估合成数据的质量和预测特性。TransFusion 在各种视觉和经验度量方面优于先前的最先进方法。

Jul, 2023

TransFusion 是一种基于扩散的 3D 人体动作预测模型，它能够生成更有可能发生的样本并保持一定程度的多样性，通过使用 Transformer 作为骨干，以及在浅层和深层之间使用长跳连接和离散余弦变换来建模运动序列，改善性能，并与使用额外模块的先前基于扩散的模型相比，我们将所有输入（包括条件）都视为令牌，创造出比现有方法更精简的模型。我们对基准数据集进行了广泛的实验研究，以验证我们的人体动作预测模型的有效性。

Jul, 2023

该研究提出了一种新的生成数据驱动对话系统的方法，称为 TransferTransfo，它是基于传输学习和高容量 Transformer 模型的组合，使用多任务目标进行微调，取得了当前最先进的端到端对话模型如记忆增强 seq2seq 和信息检索模型所不能比拟的强大改进。

Jan, 2019

本文研究了将对比学习扩展到 Transformer attention 来解决 Winograd Schema Challenge 的能力，并提出了一种新的自监督框架，直接在自注意力层级上利用对比损失，最终在多个数据集上展现了优越的常识推理能力，该方法胜过所有可比的无监督方法，有时甚至超越有监督学习。

Sep, 2021

TransFusion 是一种稳健的解决方案，用于处理自动驾驶中 LiDAR 和摄像头数据融合时面对的图像质量下降和误差校准问题。该方法结合了使用浅层目标查询从 LiDAR 点云预测初始边界框和自适应融合对象查询与有用的图像特征，使用注意机制确定应该从图像中获取哪些信息的特点，在大规模数据集上表现良好。

Mar, 2022

提出了一种新的透明度扩散过程，通过逐渐增加异常区域的透明度，恢复其正常外观并保持不含异常的区域的细节，从而实现精确的异常检测。TransFusion 在 VisA 和 MVTec AD 数据集上获得了 98.5% 和 99.2% 的图像级 AUROC，达到了最先进的性能。

Nov, 2023

通过梯度下降训练的具有 softmax 注意力机制的单层 transformer 在学习线性函数类的上下文学习动态方面取得了进展，并对平衡和不平衡特征数据进行了分析，证明了其收敛性和预测误差。

Oct, 2023

本文提出了一种基于对比学习框架的预训练语言模型微调方法，通过硬样本挖掘和使用不同 iable 的数据扩增技术，达到了在无标记或有标记数据上提高句子表示质量的目的。实验证明，该方法在半监督和监督学习设置下都优于现有对比学习方法，并且对标注数据更加高效。

Oct, 2022

本文提出两个方法以弥补 Transformer-based summarization 模型在内容选择方面表现不佳和训练策略效率不高的缺陷，使得模型可以更好的理解要点，同时引入课程学习的方法提高了训练速度和质量，并用 Reddit TIFU 数据集和其他三个跨领域总结测量我们的模型的有效性，同时进行了人类评估表明所提出的方法在流畅性、信息量和整体质量等质量标准上具有良好的效果。

Feb, 2023

本文提出了一种基于 transformer 的多模态融合块 TFusion，采用 tokens 和 transformer layers 自动学习融合可用多模态，引入 modal attention 机制减少依赖于特定模态，可用于多模态人体活动识别和脑肿瘤分割任务，并取得了更好的性能表现。

Aug, 2022