Jun, 2023

DreamDiffusion: 从脑电信号中生成高质量图像

PDF
TL;DRDreamDiffusion 提出了一种新的方式，可以直接从大脑的脑电信号中生成高质量的图像，同时克服了诸多挑战，并在神经科学和计算机视觉等领域有潜在应用。
dreamdiffusioneeg signalstext-to-imageclip image encoderneuroscience
发现论文，激发创造
  • 利用 DreamDiffusion 的图像脑电图睡眠数据的新方法来改善脑损伤患者的生活质量

    经过改进的 DreamDiffusion 模型使用 EEG 信号提取特征，通过 StableDiffusion 将信号转化为图像，从而帮助理解昏迷患者的思维。

    Jul, 2024

  • Diff-E：基于扩散的学习用于解码想象的言语脑电图

    通过使用 DDPMs 和条件自编码器 Diff-E 对 EEG 信号进行解码来实现想象语言，结果表明 Diff-E 相较于传统机器学习技术和基准模型，显著提高了解码 EEG 信号想象语言的准确性，这一发现表明 DDPMs 可以成为 EEG 信号解码的有效工具，具有潜在的用于通过想象语言进行交流的脑机接口的意义。

    Jul, 2023

  • 通过知识蒸馏和潜在扩散模型从脑电图解码视觉大脑表示

    本研究通过采用电脑脑波数据对 ImageNet 数据集中的图像进行分类和重建，提出了一种创新的方法。该研究不仅可以从神经活动中解码图像，还能仅利用脑电波数据生成图像的可靠重建，为个性化迅速反馈实验铺平了道路。

    Sep, 2023

  • 基于条件扩散模型合成事件相关电位范式的脑电图信号

    通过使用生成模型，特别是扩散模型，可以缓解脑机接口领域中的数据稀缺问题。我们通过引入一种新颖的有条件扩散模型，利用无分类器的指导来直接生成主题、会话和类别特定的脑电图数据。结果表明，该模型能够生成类似于真实数据的脑电图数据。

    Mar, 2024

  • MindDiffuser：使用语义和结构扩散从人类大脑活动进行受控图像重建

    我们提出了一种名为 MindDiffuser 的两阶段图像重建模型，通过使用 fMRI 进行前向估计和反向传播来实现想定图像的语义和结构信息的精确对齐，实验结果表明该模型在自然场景数据集上超过了现有的最先进模型，并且与相应的大脑反应呈现的多模态特征解释力一致，从而证实其神经生物学的合理性。

    Aug, 2023

  • 基于扩散模型的脑驱动表示学习

    运用扩散概率模型 (Denoising diffusion probabilistic models) 和条件自编码器构建的新方法，在分析与言语相关的脑电信号方面取得了令人瞩目的结果，优于传统机器学习算法和基准模型，显示出扩散概率模型在语音相关脑电信号分析中的潜力，这可能推动针对口头交流的脑机接口的重要进展。

    Nov, 2023

  • MindDiffuser：基于语义和结构扩散的人脑活动控制图像重建

    本文提出了一种名为 MindDiffuser 的两阶段图像重构模型，利用了稳定扩散技术，成功地同时实现了语义和结构信息的重构，并在自然场景数据集方面的重建结果超过了当前最先进模型。

    Mar, 2023

  • BrainVis：通过图像重建探索大脑和视觉信号之间的桥梁

    通过将 EEG 信号分解成多个单元并自我监督学习获取时间域特征，利用频域特征增强 EEG 表示，将 EEG 时频嵌入与 CLIP 空间中的粗粒度语义插值对齐，使用级联扩散模型重建图像，我们提出的 BrainVis 在语义保真度重建和生成质量方面均优于现有技术，值得注意的是，我们将训练数据规模降低到以前的 10%。

    Dec, 2023

  • 使用生成扩散模型进行癫痫预测的数据增强

    本文提出了一种名为 DiffEEG 的基于扩散模型的数据增强方法用于癫痫预测，与现有方法相比，实验证明 DiffEEG 方法在改善分类器性能方面表现优异。

    Jun, 2023

  • BrainNetDiff：基于多模态扩散模型的生成式人工智能助力脑网络生成

    通过引入一种名为 BrainNetDiff 的新方法，结合多头变换器编码器从 fMRI 时间序列中提取相关特征，并结合条件潜在扩散模型进行大脑网络生成，从图像到图形的融合，显著提高了大脑网络生成的准确性和稳定性，验证了该框架在构建健康和神经学受损队列中的大脑网络方面的适用性，实验证明了该方法在下游疾病分类任务中的显著效果，突出了大脑网络研究的前景价值，特别是在神经影像学分析和疾病诊断中的关键意义，为多模态大脑影像数据处理提供了有价值的参考，并为神经影像领域引入了一种新的高效解决方案。

    Nov, 2023