介绍了一种创新的自回归模型，利用了 Generative Pretrained Transformer (GPT) 架构，专为支付系统中的欺诈检测而设计。我们的方法创新性地解决了令牌爆炸问题，并通过时间和上下文分析重构行为序列，提供了对交易行为的细致理解。利用无监督预训练，我们的模型在特征表示方面表现突出，无需有标签的数据。此外，我们整合了一种差分卷积方法来增强异常检测，提高了中国最大在线支付商的安全性和效果。我们模型的可扩展性和适应性在各种交易背景下有着广泛的适用性。

Dec, 2023

本文通过利用多个领域的无标签样本，旨在开发一种有效的时间序列基础模型。实验结果表明，与其他方法相比，该提出的预训练方法结合 Transformer 模型在下游分类任务中具有更好的性能。

Oct, 2023

本研究探讨了用于合成表格数据的生成模型训练，特别是在连续上下文中，如信用卡交易数据，它面临着重大挑战。本文解决了这些挑战，重点在于实现数据的高保真度和机器学习任务的最佳效用。我们引入了五个预处理方案来增强条件概率自回归模型 (CPAR) 的训练，展示了合成数据保真度和效用的渐进改进。在达到令人满意的保真度水平后，我们将注意力转向针对时间序列数据进行定制的欺诈检测模型的训练，评估合成数据的效用。我们的发现为金融领域的合成数据实践者提供了有价值的见解和实用指南，从真实数据过渡到合成数据用于训练，并阐明了合成信用卡交易时间序列的更广泛方法。

Jan, 2024

本文提出了一种基于 transformer 的无监督多元时间序列表示学习框架，可以应用于回归、分类、预测和缺失值插补等下游任务，并通过多项基准数据集的测试实验证明了该方法的优越性和效率。同时表明，与监督学习方法相比，该方法在样本有限、计算加速方面具有明显优势，未标注数据的无监督预训练可以改善模型性能。

Oct, 2020

本文使用图形嵌入方法将信用卡交易的账户和商家实体嵌入到欧氏向量空间中，并展示了这些嵌入可以用于欺诈检测等机器学习业务应用。

Jul, 2019

研究了一个新的 “内部 -> 之间 -> 内部” 三明治结构的序列学习架构，通过堆叠集成方法、深度顺序学习方法和另一个顶层集成分类器来提高欺诈检测目的的性能，同时引入了注意机制来进一步提高分类效果。

Nov, 2017

引入一种新的预训练程序，利用有监督对比学习来区分每个预训练数据集中的特征，进而通过将目标数据与预训练数据集的学习动态更加紧密地对齐，以提高目标数据的准确预测。

Nov, 2023

本文提出两种方法用于使用未标记的数据改善序列学习。第一种方法是预测序列中的下一个元素，第二种方法是使用序列自编码器。通过这两种算法的无监督训练，我们可以训练出更稳定且泛化性能更好的长短时记忆网络，并在诸如 IMDB、DBpedia 和 20 Newsgroups 等文本分类任务中获得强大的性能。

Nov, 2015

TRACE-GPT 通过卷积嵌入和生成式预训练转换器，用于预训练单变量时间序列传感器数据，并检测半导体制造中的未标记数据中的故障。

Sep, 2023

本文介绍了一种名为 GPT-GNN 的框架，用于解决 Graph Neural Networks 训练问题，通过预训练一个能够自监督地学习到结构和语义属性的 GNN 模型，然后将其传输到 Downstream Tasks 中，从而显著提高了性能。

Jun, 2020