Jun, 2023

基于 StyleGAN 嵌入的人像照片深度学习预测癌症预后

PDF
TL;DR本文提出使用深度学习的方式对患者照片中抓取包含在传统人像照片中患者健康预测信息，并将其应用于癌症患者的生存预测，使用 StyleGAN2 取得了不错的效果，能够基于面部特征获得幸存率预测信息。
survival predictiondeep learningprognostic informationstylegan2facial images
发现论文，激发创造
  • 个性化肾细胞癌预后的多模态深度学习：CT 影像与临床数据的整合

    通过结合 CT 成像和临床数据，该研究旨在设计一个全面的深度学习模型，能够预测肾细胞癌患者的存活概率，解决之前研究中存在的局限性，以便识别需要紧急治疗的患者。

    Jul, 2023

  • 利用组织病理学图像基于深度学习的多种癌症生存预测

    通过开发深度学习系统，在多种癌症类型中利用组织病理图像预测疾病特异性生存，为癌症治疗和监测提供重要的预后信息。

    Dec, 2019

  • 应用 StyleGAN 对医学图像的深度学习模型进行视觉解释

    本研究提出了一种新的解释性方法，可以用于理解任何黑盒模型在图像上的预测结果，通过在潜空间中移动输入图像的潜在向量，以创建不同预测结果的新图像序列，从而揭示模型学习的模式，提高临床医生对模型预测的信任，并发现新的生物标志物和潜在偏差。

    Jan, 2021

  • 演化潜空间搜索的驱动人像生成

    该文章使用基于潜在空间的演化方法生成综合人像，其中利用了 StyleGAN2 进行人像生成，FaceNet 对人脸相似度进行评估。经过对真实图像和合成图像的实验结果表明，该方法生成的解决方案既准确又多样化，代表着逼真的人类肖像，这一研究成果可为人脸识别系统的安全性提升做出贡献。

    Apr, 2022

  • 如何借助 StyleGAN 提升人脸识别？

    通过自我监督学习实现数据增强，使用样本高保真度模型 Fine-tuning 编码器来提高人脸识别精度，在众多实验中经过对未标记数据集的预训练验证，得出这一自我监督策略在有限的标记数据训练数据上最为有效，对定制人脸识别任务以及面临隐私问题时可以行之有效。

    Oct, 2022

  • MM-SurvNet：基于深度学习的多模式数据融合在乳腺癌中的生存风险分层

    通过将组织病理图像、遗传数据和临床数据整合，构建了一种新颖的深度学习方法，使用视觉转换器和自注意力机制在病人层面上提取图像特征和捕获图像关系，同时采用双交叉注意力机制结合遗传数据，并在最终层级上加入临床数据以提高预测准确性，通过在公共 TCGA-BRCA 数据集上的实验，表明使用负对数似然损失函数训练的模型能够取得卓越的性能，均值 C 指数为 0.64，超过现有方法，为制定个体化的治疗策略提供了便利，潜在地改善了患者预后。

    Feb, 2024

  • StyleAvatar：通过单个视频实时生成逼真肖像头像

    该论文提出了一种使用 StyleGAN 网络的实时照片级写实肖像化重建方法，可在忠实表情控制下生成高保真肖像化头像，并通过引入组合表示和滑动窗口增强方法将其能力扩展到全身视频生成，使训练和应用的表现和效率得到了提高。

    May, 2023

  • 利用深度学习对图像中的偏导信号进行控制：肺癌生存预测

    通过深度学习与结构因果模型的结合，可以实现针对肺癌患者的无偏个体预后预测。

    Apr, 2019

  • 使用 StyleGAN 和感知细化实现标准化头像合成

    提出了一种高度稳健的基于 GAN 的框架，可从单个非约束性照片中数字化人物的标准化 3D 头像，并通过采用高度稳健的标准化 3D 面部生成器以及感知细化步骤来生成高质量的标准化面部模型。

    Jun, 2021

  • 使用 StyleGAN 进行各种姿势的面部卡通化

    该论文提出了一种创新的方法，可以实现面部卡通化，同时保留原始身份并适应各种姿势。与以前依赖条件生成对抗网络 (conditional-GANs) 的方法不同，我们的方法利用了 StyleGAN 的表达潜在空间。我们通过引入一个编码器来从图像中捕捉姿势和身份信息，并生成对应的 StyleGAN 潜在空间中的嵌入。然后，通过一个预训练的生成器将这个嵌入传递，从而得到所需的卡通化输出。与许多其他基于 StyleGAN 的方法需要一个专门调整的、经过精细调整的 StyleGAN 模型不同，我们的方法通过利用已经训练好的 StyleGAN 来产生逼真的面部图像。我们通过广泛的实验表明，当目标是卡通化时，我们的编码器能够适应 StyleGAN 的输出并更好地保留身份信息。

    Sep, 2023