Dec, 2023

利用视觉转换器和合成细胞微结构数据集预测骨质破坏

PDF
TL;DR通过利用混合的 3D-CNN-VisionTransformer 自编码器架构，我们开发了一种强大且快速的深度学习方法 TransVNet，可以预测和可视化骨骼退化的演变，并提出了一个数字孪生数据集用于训练。
bone degradationmicrogravity conditionscomputational modelstransvnet3d-cnn-visiontransformer
发现论文，激发创造
  • ConUNETR：3D 微 CT 胚胎软骨分割的条件 Transformer 网络

    通过改进的生物先验条件，我们提出了一种基于 Transformer 的分割模型，能够通过条件机制更好地提取形态多样的信息，从而使单个模型能够准确预测多个年龄组的软骨。实验证明，与其他竞争性分割模型相比，我们的新模型在小鼠软骨数据集上表现出更高的优越性。进一步研究表明，我们的模型在另一个具有不同突变的小鼠软骨数据集上具有良好的泛化能力，并有效捕捉基于年龄的软骨形态模式。

    Feb, 2024

  • 一种用于复合微结构均质化的神经网络变换器模型

    本研究介绍了一种计算机有效的均质化代理模型，采用变压器神经网络体系结构捕捉各种微观结构和组分的知识，预测均质化应力应变响应，以及测试了两种微观结构编码方法的性能。

    Apr, 2023

  • 用于胸部 X 射线和胃肠道图像分类的视觉 Transformer

    使用不同的卷积神经网络和 Transformer 方法以及广泛的数据增强技术，在三个医学图像数据集上比较了它们的表现，并将视觉 Transformer 模型与其他先进的预训练 CNN 网络进行了评估和比较，在分类不同的解剖结构、所见和异常方面，我们的 Transformer 模型优于或更有效，比 CNN 基于的方法有所改进，建议将其用作算法开发的新基准算法。

    Apr, 2023

  • 利用神经网络在 X 光（2D）图像上估计和抽象骨骼的 3D 结构

    本文提出了一种基于深度学习的方法，可以从一对二维 X 射线图像中估计骨头的三维结构，并且相较于八种其他的三维骨重建方法，预测精度更高。同时，该神经网络可以根据 X 射线图像确定骨头的身份，具有 100％的准确性，为鉴定和识别骨头提供了一种基于图像内容的更快速的方式。

    Jan, 2020

  • 基于合成分析的神经纹理可变形网格

    本文提出了一种通过近似合成分析的方法来训练神经网络，利用可变形网格模型来优化图像与三维模型之间的关系，从而实现对数据的稳健泛化，本方法在测试集中表现良好，尤其在数据分布不均时表现更优。

    May, 2023

  • 用于像素级识别结构组件和损伤的高分辨率视觉变压器

    在本研究中，我们基于视觉变换器和拉普拉斯金字塔缩放网络开发了一个语义分割网络，用于高效解析高分辨率的视觉检测图像。通过在桥梁检测报告图像数据集上进行全面的实验评估，我们的提出的框架在像素级材料检测方面具有广泛的应用价值。

    Aug, 2023

  • 基于 Sauvegrain 方法的自积累视觉 Transformer 用于骨龄评估

    本研究提出了一种基于视觉变换器的多视角、多任务分类模型的骨龄评估方法，该方法应用了令牌重播和区域注意偏置，可缓解多视角、多任务问题中通常发生的各向异性行为，成功利用了标志物之间的关系并学习了全局形态特征，使得骨龄评估的平均绝对误差比以前的工作低了 0.11，并且参数减少了四倍，并且对临床实践提出了对诊断青春期异常生长的准确性和效率的指导意见。

    Mar, 2023

  • 使用增强视觉 Transformer 进行图像重建

    本文提出了一个基于 Vision Transformer (ViT) 的图像重构框架，利用 4 种优化技术和生成对抗网络（GANs）启发的对抗性损失函数，用于图像去噪和修复，实验表明该框架在结构相似性（SSIM）方面比 U-Net 模型高出超过 3.5％，对于这两个任务，提议的增强算法进一步展示了超过基准的 extasciitilde5％SSIM 的改进。

    Jul, 2023

  • 深度学习表示的自监督视觉语言对骨 X 射线分析的对齐

    该研究提出了利用骨骼 X 射线与法语报告的视觉语言预训练来解决骨 X 射线影像学的下游任务。提出了一个实用的处理流程来对法国医学报告进行匿名化和处理。预训练包括来自深度模型编码器的视觉和文本嵌入空间的自我监督对齐。结果的图像编码器用于处理各种下游任务，包括骨关节炎的量化、儿童手腕骨龄的估计、骨折和异常检测。与需要大量人工专家注释的替代方法相比，我们的方法在下游任务上表现出竞争性能。我们的工作是第一项将法国报告整合到用于骨 X 射线表示的嵌入空间的研究，利用了医院中大量的成对图像和报告数据，以在特定语境中依赖通用视觉语言深度模型，为更广泛的医疗应用部署视觉模型作出贡献。

    May, 2024

  • 利用深层潜变空间翻译技术进行老照片修复

    本论文提出通过深度学习方法恢复老照片的视觉效果，利用三元组领域转换网络，以及多种自然特征恢复的方法，优于现有方法和商业工具。

    Sep, 2020