Oct, 2019

X射线散射图像多属性学习模型的可视化理解

HTML
PDF
TL;DR介绍了一个可视化系统，供领域科学家使用，以便于视觉理解他们多属性提取的深度学习模型。该系统着重于研究与多种结构属性相关的模型行为，允许用户在特征空间中探索图像，并根据领域科学家标记的实际属性选择不同属性的分类输出。丰富的交互功能使用户可以灵活地选择实例图像和它们的聚类，并在细节上进行视觉比较。两个初步案例研究展示了该系统的功能和实用性。
发现论文，激发创造
  • 多模态字典学习用于图像分离及其在艺术调查中的应用

    提出一种新的多模态成像和词典学习的耦合框架方法，以改进画作分析中的X射线信号分离过程。实验结果显示这种方法能够成功地从单一X-ray扫描中分离出含有多种信息的图像。

    Jul, 2016

  • 自动 X 光预测中跨域普适性的局限性研究

    该研究采用大规模方法量化X射线诊断预测任务在多个不同数据集上广泛适用的程度，并发现预测的不一致性不是由图像转移引起的，而是由标签转移引起的。通过正则化网络来测试概念相似性，观察多个数据集中任务之间的差异。

    Feb, 2020

  • StudyFormer：基于注意力和动态多视角分类器的X光图像研究

    该文提出了一种利用卷积神经网络和视觉变压器结合的方法，用于从多视角合并信息以提高X射线图像分类性能，实验表明该方法超越了单视角模型以及传统的多视角分类架构。

    Feb, 2023

  • 利用GAN可视化胸部X光数据集偏差

    本文提出了使用生成对抗网络（GAN）的框架，用于可视化两个人口统计子组别之间最不同的特征，从而解决由于胸部X射线数据集包含与受保护人口统计属性（如种族和性别）强相关的视觉特征而引发的公平性问题，因为这些因素可能被下游算法用于临床预测。

    Apr, 2023

  • 实时缺陷检测数据生成中X射线散射效应的量化研究

    通过对X-ray扫描中X-ray散射算法的定量评估，对比了在包含和不包含散射信号的情况下进行训练后，采用深度卷积神经网络（DCNN）进行defect detection的准确性。结果表明，不包含散射信号的训练数据对最小可检测缺陷的大小具有最大影响，更高质量的训练数据可以更好地处理高量散射图像的准确检测。

    May, 2023

  • 实验物理的可解释的多视角深度网络方法

    本文提出了不同的多视角架构用于视觉领域，并介绍了一种解释这些模型的方法。通过实验结果，展示了准确架构选择对于泡沫样本质量分类的改善，并呈现了性能和可解释性之间的权衡。具体而言，我们证明了我们的方法能够解释单个单视角模型，从而增强了整体多视图模型的可解释性。

    Aug, 2023

  • 利用机器学习从原位X射线衍射数据快速检测罕见事件

    高能X射线衍射方法可非破坏性地对金属多晶工程材料的3D微结构和相关属性进行映射，而本研究提出的全自动技术可迅速检测高能X射线显微镜数据中塑性的发生，为驱动智能多模态X射线衍射方法的实验提供及时可行信息。

    Dec, 2023

  • 高清 X 射线图像的预训练实验研究

    本文提出了首个高清（1280×1280）X射线预训练视觉模型，采用了大规模数据集和自动编码器框架，引入了一种新颖的上下文感知遮蔽策略，验证了模型在X射线报告生成和疾病识别等下游任务上的有效性。

    Apr, 2024

  • StyleX: X射线风格距离的可训练度量

    通过利用简单的Siamese学习，我们引入了一种基于深度学习的度量方法来量化不匹配图像对之间的风格差异，利用训练无需任何显式的风格距离知识的编码器生成X射线图像风格表征。实验结果表明，我们的方法能够提供有意义且区分性强的风格表征，并能够准确地量化非匹配图像对之间的风格距离，为引导式风格选择和图像流程参数自动优化提供了一种有前景的技术。

    May, 2024

  • 使用稳定扩散和人机协作注释生成真实的X射线散射图像

    本研究解决了稳定扩散模型生成的X射线散射图像中出现的不真实伪影问题。通过结合人类审核的生成图像与实验图像的数据集，训练计算机视觉模型以检测这些伪影，并借助专家审查和改进分类器，最终实现高保真度领域特定图像的生成。研究结果显示，生成性人工智能在科学研究设施的数据增强和数字双胞胎的发展中具有潜在的重要影响。

    Aug, 2024