在生物研究中，将显微镜图像分析成特征仍然是一个重大挑战。本研究探讨了弱监督分类器和自监督掩码自编码器（MAEs）在使用越来越大的模型和显微镜数据集进行训练时的伸缩性能。我们的研究结果表明，基于 ViT 的 MAEs 在多项任务上优于弱监督分类器，在从公共数据库中获取的已知生物关系的召回中相对改进了 11.5%。此外，我们还开发了一种新的通道无关的 MAE 架构（CA-MAE），可以在推理时输入具有不同通道数和顺序的图像。我们证明了 CA-MAEs 通过在具有不同实验条件和通道结构的显微镜图像数据集（JUMP-CP）上进行推断和评估的方法有效地泛化。我们的发现促使继续在显微镜数据上进行自监督学习的规模扩展研究，以创建能够催化药物发现等领域进展的细胞生物学强大基础模型。

Apr, 2024

我们提出了一种能够同时去噪和预测多光子成像测量像素级不确定性的方法，提高了算法的可靠性并为深度学习预测提供了统计保证。通过学习得到的像素级不确定性，我们提出了一种自适应采集技术，仅重新扫描样本中最不确定的区域。在实验噪声多光子成像测量人类子宫内膜组织方面，我们展示了我们能够保持精细特征并在每个像素上优于其他去噪方法的能力。最后，通过我们的自适应采集技术，我们展示了在成功恢复样本中的细节特征的同时，采集时间和总光剂量减少了 120 倍。我们是首先在真实实验数据上展示了无分布不确定性量化的去噪任务的方法，并首次提出了基于重建不确定性的自适应采集。

Oct, 2023

使用物理学基础的神经网络通过优化 LED 发光模式设计来实现超分辨成像，进而压缩原先需要的多次测量，减少时间和成本。

Apr, 2019

本文提出了 PiMAE，一个自我监督的预训练框架，旨在通过三个方面促进 3D 和 2D 交互，以提高现有作品中的交叉模态协同作用。在 SUN RGB-D 和 ScannetV2 上进行广泛的实验后，我们发现交互式学习点 - 图像特征是不平凡的，并通过 2.9％，6.7％和 2.4％显着提高了多个 3D 检测器，2D 检测器和少样本分类器。

Mar, 2023

本研究提出了一种低光图像增强范式，利用自定义的可学习先验来提高深度展开范式的透明度和解释性，通过 Masked Autoencoder（MAE）的特征表示能力定制了基于 MAE 的光照和噪声先验，并在多个低光图像增强数据集上的实验证明了该范式优于现有方法。

Sep, 2023

使用深度学习构建的扫描超透镜显微镜 (SSUM) 系统通过光学超分辨率图像和扫描电子显微镜 (SEM) 领域图像之间的映射关系，将光学超分辨率图像转化为类似 SEM 的具有大景深的图像，其在图像转换中表现出色，重构结果具有高层次的细节，适用于芯片级缺陷检测、生物样品分析、法医学以及其他各个领域。

Oct, 2023

点扩散函数（PSF）工程是一种井然有序的计算成像技术，它利用相位掩模和其他光学元件将额外的信息（如深度）嵌入常规 CMOS 图像传感器捕获的图像中。本文通过理论界限（Cramér Rao 界限）建立了使用 PSF 工程事件相机进行三维点定位和跟踪的方法。利用这些界限，首先证明了现有的 Fisher 相位掩模在定位静态闪烁点源（如闪烁荧光分子）时已经接近最优。然后证明了现有设计在跟踪移动点源方面是次优的，并利用我们的理论为此任务设计了最优相位掩模和二值振幅掩模。为了克服设计问题的非凸性，我们利用基于新颖的隐式神经表示的参数化方法对相位和振幅掩模进行了描述。通过大量的仿真实验证明了我们设计的有效性。我们还用一个简单的原型进行了验证。

Jun, 2024

在天文望远镜的成像过程中，波束或点扩散函数（PSF）的反卷积是一项关键任务。我们提出了一种无监督网络结构，利用先前的物理信息实现图像反卷积和重构，通过引入加速的快速傅里叶变换（FFT）卷积实现对高分辨率输入图像和 PSF 的高效处理。通过比较分析对自编码器（AE）和 U-Net 等各种经典回归网络进行了综合性能评估。

Mar, 2024

本研究论文提出了一种适应实际相机空间变异点扩散函数的像差感知散焦深度计算方法，并通过自监督学习利用实际清晰与模糊图像对来获取相机的空间变异点扩散函数，同时处理了实际深度感知时出现的焦距呼吸现象，合成和真实数据的实验证明了方法在点扩散函数和深度感知方面的有效性。

Feb, 2024

本文提出了一种新的自监督去噪策略，并基于空画布上的迭代采样，导出了完整的生成模型，使用荧光显微镜数据集进行了数量和质量评估，优于监督、自监督和非监督基准模型。

Jul, 2023