Sep, 2024

AstroMAE：使用带有新型微调架构的掩码自编码器进行红移预测

HTML
PDF
TL;DR该研究解决了天文学中红移预测的挑战，传统方法依赖标签数据而效率低下。通过创新性地应用掩码自编码器，AstroMAE能够在没有标签的情况下捕获数据的全局模式，并在此基础上进行微调，使其在红移预测上表现更优。研究表明，AstroMAE的预训练模型和微调架构在比对中表现出色，推动了天文学领域的机器学习应用发展。
发现论文，激发创造
  • 可扩展的端到端循环神经网络用于变星分类

    本文提出了一种基于深度学习的、端到端的自动变星分类算法，通过将光变曲线转化成矩阵表示来学习特征并实现自动分类，取得了与随机森林分类器相当的准确率，但计算速度更快、可扩展性更强。

    Feb, 2020

  • ASTROMER：基于Transformer的光曲线表示嵌入

    本文提出了一种基于transformer模型和自监督学习的ASTROMER，利用无需人工标注的大量数据对其进行预训练后，通过对新的光变源进行微调，将得到的表示迁移到其他调查中。该表示可以提取光曲线嵌入，以增强其他模型（如分类器或回归器）的训练，而使用ASTROMER嵌入减少了计算资源的需求，同时达到了最先进的结果。

    May, 2022

  • Astroconformer：使用Transformer从恒星光曲线推断恒星表面重力

    Astroconformer是一种基于Transformer的模型，用于分析Kepler计划中的恒星光变曲线，并演示该方法在木星质量和稳健推断恒星和地球表面引力方面的优越性，可推广至Rubin Observatory的稀疏光变曲线数据。

    Jul, 2022

  • 机器天文学：神经网络在天文学中的历史、基础知识与展望

    该文讨论深度学习在天文学领域的应用，以及在天文数据训练深度学习模型方面的优势，并预测将会进入第四波基础模型迭代的天文连接主义时代。

    Nov, 2022

  • Astroformer：对于分类任务仅仅增加数据并不一定足够

    本文提出了使用混合变压器卷积结构及选择数据增强和正则化技术的方法学习更少量的数据以从现代天文调查中提取物理信息，此方法在Galaxy10 DECals数据集上取得了94.86%的精度，在CIFAR-100和Tiny ImageNet上也实现了新的最佳效果。

    Apr, 2023

  • Astroconformer: 基于Transformer的深度学习模型分析恒星光度曲线的前景

    星体震荡、颗粒化、光曲线、机器学习和Astroconformer构成了这篇论文的主要研究内容。

    Sep, 2023

  • 建构具有影响力的天文机器学习研究：研究人员和审稿人的最佳实践

    尽管机器学习方法在天文学领域得到了广泛应用且不断发展，但目前天体物理文献中对于实施机器学习模型和报告结果的最佳实践、挑战和局限性，往往尚未完全报道。因此，本文旨在为天文学界的作者、审稿人和编辑提供入门指南，解决该问题，并确保结果的准确性、研究结果的可重复性和方法的实用性。

    Oct, 2023

  • 对螳螂虾的初步报告：多次调查的计算机视觉光度红移模型

    我们详细介绍了我们创建的多调查计算机视觉模型Mantis Shrimp，用于光度红移估计，它融合了紫外（GALEX）、光学（PanSTARRS）和红外（UnWISE）图像，并使用深度学习可解释性诊断来衡量模型如何利用不同输入的信息并推理卷积神经网络的行为，特别是在物理根据的星系属性方面。

    Feb, 2024

  • AstroPT：天文学观测模型的扩展

    该论文介绍了AstroPT，这是一个针对天文学应用开发的自回归预训练变换器。AstroPT模型在DES Legacy Survey DR8的860万个512×512像素grz带星系邮票观测数据上进行了预训练。我们训练了一系列不断增长参数的基础模型，其参数从100万个到21亿个，发现AstroPT遵循与文本模型类似的饱和的对数-对数缩放规律。我们还发现，模型性能在线性探测方面随着模型大小的增加而提高，直到模型参数饱和点。我们相信，协作社区开发是实现开源的“大观测模型”的最佳途径，即采用与自然语言处理中所见规模相同的观测科学数据进行训练的模型。为此，我们在MIT许可下发布AstroPT的源代码、权重和数据集，并邀请潜在合作者与我们共同构建和研究这些模型。

    May, 2024

  • GalaxiesML：用于机器学习的星系图像、光度、红移和结构参数数据集

    本研究解决了机器学习应用中星系数据集匮乏的问题，提出了一个统一且一致的星系图像和光度数据集。该数据集包含286,401幅图像，并展示了利用图像估算红移的优越性，结果表明图像数据在红移估算中的精度明显高于单独使用光度数据。这项工作将促进未来星系调查数据的机器学习方法开发。

    Sep, 2024