Feb, 2024

DiffsFormer：基于股票因子增强的扩散变换器

PDF
TL;DR利用人工智能生成样本（AIGS）增强训练过程，提出了一种新颖的方法，利用 Diffusion Model 生成具有 Transformer 架构的股票因子（DiffsFormer）。通过编辑现有样本来控制生成数据与目标领域的差异程度，以缓解数据稀缺问题，并通过在 CSI300 和 CSI800 数据集上的实验证明了该方法在股票预测任务中的有效性。
machine learning modelsstock forecastingartificial intelligence-generated samplesdiffusion modeldiffsformer
发现论文，激发创造
  • Diffscaler：增强扩散变压器的生成能力

    通过使用 DiffScaler，这篇论文提出了一种有效的扩展策略，使得单一预训练的扩散变压器模型能够快速适应不同的数据集，从而完成多样化的生成任务。

    Apr, 2024

  • DFormer: 拓扑扩散引导的 Transformer 用于通用图像分割

    本文介绍了一种名为 DFormer 的方法，用于实现全局图像分割，该方法将全局图像分割任务视为使用扩散模型的降噪过程，在地面真实掩模上添加各个层次的高斯噪声，然后学习模型从损坏掩模中预测降噪掩模，最后使用基于扩散的解码器逐渐执行掩模预测，并直接从一组随机生成的蒙版中预测掩模和相应类别。

    Jun, 2023

  • 可扩展的 Transformer 扩散模型

    本文提出了基于 Transformer 的扩散模型。将常用的 U-Net 骨干网络替换为在潜在块上操作的 Transformer，通过 Gflops 度量前向传递复杂度分析 DiT 的可伸缩性，并证明了高 Gflops DiT-XL/2 模型在 ImageNet 512x512 和 256x256 基准测试中均优于以前的扩散模型，后者在 256x256 基准测试上实现了先进的 FID (2.27)。

    Dec, 2022

  • 扩散模型在有效数据增强中的应用

    通过使用图像转图像的方法、以及预训练的文本到图像扩散模型将其参数化，解决了数据扩增过程中具有高级语义标注的动物种类等属性缺乏多样性的问题，并在少样本情境和杂草识别任务中得到实际应用。

    Feb, 2023

  • DSFormer: 通过密集稀疏权重分解实现文本 Transformer 的有效压缩

    DSFormer 是一种新型的低秩矩阵分解和半结构稀疏矩阵乘积方法，针对大型 Transformer 模型的成本效益问题提供了更强的效率 - 准确度平衡，并在自然语言理解任务中实现了比现有方法更高的压缩率和任务准确度。

    Dec, 2023

  • 表格数据填补和合成数据生成的扩散模型

    我们提出了一种扩展的扩散模型，用于表格数据的数据填充和数据生成任务，通过引入条件注意机制、编码器 - 解码器 Transformer 和动态遮蔽来提高模型的性能。

    Jul, 2024

  • Difformer：在嵌入空间上增强扩散模型以进行文本生成

    本文分析了连续数据空间和嵌入空间之间的挑战并提出 Difformer，一种基于 Transformer 的嵌入式扩散模型，通过实验表明它在机器翻译和文本摘要等任务中优于其他扩散基准模型。

    Dec, 2022

  • DiffiT：用于图像生成的扩散视觉 Transformer

    本文研究了视觉 transformer 在基于扩散的生成学习中的有效性，并提出了一种新的模型 Diffusion Vision Transformers（DiffiT），该模型在多个条件和无条件综合任务中取得了最新的基准成绩，生成了高保真度图片。

    Dec, 2023

  • DIFFormer: 由能量受限传播引发的可扩展（图）变压器

    本文介绍了一种能量受限扩散模型，用于跨数据集批次地学习实例表示，通过相互作用逐渐并入其他实例的信息，以找到几何结构。研究结果表明，该模型可作为一种通用的编码器，在节点分类、图像 / 文本分类、时空动态预测等各种任务中表现出优越性能。

    Jan, 2023

  • 一种适用于音视频生成的多功能扩散变压器

    通过使用新的训练方法和变量扩散时间步长，我们提出了一种基于转换器的音视频潜在扩散模型，可在任务不可知的情况下进行训练，并在推理过程中实现各种音视频生成任务，克服基线模型在生成条件输入上的时间和感知上的不连贯样本的局限性。

    May, 2024