ECCVOct, 2022

使用视觉转换器进行强引力透镜参数估计

PDF
TL;DR本文使用 Vision Transformer (ViT) 模型在 31,200 个模拟的强引力透镜图像上进行了实验，与传统方法相比在运行速度和成果方面有很大的提升，特别是在参数估计上更为优秀。这为下一代强透镜科学提供了有力的工具，代码和数据公开在 https://github.com/kuanweih/strong_lensing_vit_resnet。
发现论文，激发创造
  • 神经网络参数估计中的不确定性：强引力透镜应用

    该论文介绍了一种使用变分推断框架来获取深度学习模型中参数不确定性的方法，以及通过调整单个超参数 ——dropout rate 来获得准确和精确的不确定性估计，从而证明神经网络是比 MCMC 更快的参数不确定性估计替代方案。

    Aug, 2017

  • 通过组合神经网络简化多波段映射中的透镜状类星体鉴定

    本研究使用卷积神经网络和深度学习管道自动检测强透镜效应，并在多波段图像中检测到了可以用于光谱学确认的 161 个候选源。

    Jul, 2023

  • 用卷积神经网络快速自动分析强引力透镜

    本文报道了使用深度卷积神经网络在非常快速且自动化的方式下准确估计透镜参数的方法，不需要使用最大似然方法，而且可以提供一种非专家获取大量数据的透镜参数估计的方法。

    Aug, 2017

  • CNN 还是 ViT？透过卷积再探视觉 Transformer

    本研究提出了一种新颖的高斯混合蒙版（GMM）方法，在没有预训练的情况下通过改进局部建模的方式来提升 Vision Transformer（ViT）在小数据集上的性能，实验证明该方法对于提升 ViT 的效果显著，几乎不增加额外参数或计算成本。

    Sep, 2023

  • 当谱建模遇上卷积网络：一种在多波段成像数据中发现复合再电离时代透镜类星体的方法

    本研究通过引入新的空间几何排除标准和扩大允许的光谱参数空间，并利用基于图像的深度学习方法进行实现，对重新电离时期的透镜星系进行了系统搜索，利用光谱能量分布的预选和卷积神经网络相对概率的计算方法，相结合，发现了 36 个新的透镜候选者。

    Nov, 2022

  • GIGA-Lens: 强引力透镜建模的快速贝叶斯推断

    本文介绍了一种名为 GIGA Lens 的基于梯度信息、GPU 加速的 Bayesian 模型，利用 TensorFlow 和 JAX 实现。通过模拟实验证明了该框架具有高性能、鲁棒性和可扩展性，可以用来对当前调查中发现的大量强镜进行建模，非常有前景。

    Feb, 2022

  • 深度学习驱动的改进宇宙学参数推断方案

    使用改进的 CNN 算法和基于峰值计数的易于理解方法，可以更好地估计弱引力透镜映射的余量参数和标准差，并提取更多的高阶统计信息，这在研究宇宙学和暗物质中非常有帮助。

    Jun, 2018

  • 重新审视高频组件，提高视觉 Transformer 的性能

    本研究通过频率分析发现 Vision Transformer 对高频图像部分不足，从而提出了基于对抗训练的高频数据增强方法 (HAT)，可显著提升 Vision Transformer 模型的性能并适用于下游任务。

    Apr, 2022

  • MobileViT：轻量级、通用、面向移动的视觉 Transformer

    本文提出了一种 MobileViT 轻量级通用视觉变换器，将 transformers 视为卷积，可用于移动设备，取得了比 CNN 和 ViT 更好的性能，特别是在对象检测任务上。

    Oct, 2021

  • 小规模数据上轻量级视觉变形器的预训练与图像最小缩放

    轻量级视觉 Transformer（ViT）可以通过预训练和最小的图像缩放，实现优于 ResNet 等卷积神经网络在小数据集和小图像分辨率上的性能，而不需要显著地增大图像。

    Feb, 2024