Oct, 2024

PEAR：一种基于多大型语言模型代理的强健灵活的显微计算自动化框架

HTML
PDF
TL;DR本研究解决了显微计算技术中图像质量优化难题，尤其是在参数选择方面的低效问题。提出的“显微实验与分析机器人”（PEAR）框架通过多个大型语言模型代理实现数据分析的自动化，显著提高了工作流成功率。PEAR 的设计兼具灵活性和适应性，适用于不同研究环境的自动化需求。
发现论文，激发创造
  • 扫描透射电子显微镜自动实验的深度学习

    本论文探讨了在电子显微镜中使用机器学习来进行数据分析和优化工作流程的挑战，并讨论了人类科学家和机器学习在实验工作流程中的相对贡献以及开发通用超级语言的需求。

    Apr, 2023

  • 基于AI辅助的自动化工作流，利用联合资源进行实时X射线全息摄影数据分析

    本文介绍了一种采用大规模远程计算资源和嵌入式GPU平台的端到端自动化工作流，以实现对x射线相衬成像数据的AI/ML加速实时分析，从而实现纳米级成像。

    Apr, 2023

  • 基于贝叶斯自主材料相图制图的人工智能辅助系统

    该研究提出一种方法，即将人类的先前知识融合到自动实验中，可用于材料研究中的相图绘制，并证明了加入人类先验知识对绘制精度的显著提高。

    Jun, 2023

  • 自主材料研究的概率相位标记和晶格精化

    结晶位移提供了一种高效的算法，利用对称约束伪交效优化，最佳优先搜索，贝叶斯模型比较等方法，无需阶段空间信息或训练即可估计相位组合的概率，并提供材料结构参数的定量洞察，最终加速材料识别和发现。

    Aug, 2023

  • 人机协同：自动电子显微学中的机器学习之未来

    机器学习在电子显微镜领域逐步获得认可，用于数据后处理中的去噪、语义分割和降维。在使用大型仪器制造商的API引入后，现在可以在显微镜中部署机器学习工作流，不仅用于数据分析，还用于实时决策和反馈。然而，实时机器学习的用例数量仍然相当有限。在本文中，我们讨论了设计基于机器学习的主动实验的一些考虑因素，并提出了未来几年的策略可能是人在环回中的自动化实验(hAE)。在这种范例中，机器学习代理直接控制光束位置、图像和光谱采集功能，人操作员实时监控系统的特征空间中的实验进展，并调整机器学习代理的策略以实现特定目标。

    Oct, 2023

  • PtychoDV: 基于视觉Transformer的逐步展开网络用于相位成像图重建

    PtychoDV是一种高效、高质量的ptychographic图像重建网络，它通过显著降低迭代算法的计算成本和保持竞争性能，从原始测量数据生成初始图像，并利用学习卷积先验和ptychography测量模型细化初始图像。实验结果表明，PtychoDV在模拟数据上的表现优于现有的深度学习方法。

    Oct, 2023

  • 基于X射线的科学应用的网络架构搜索

    使用深度神经网络自动调优设计的BraggNN和PtychoNN模型，在X射线和电子衍射显微镜中，提升了布拉格峰检测和斑图重构性能，达到了31.03％和16.77％的准确度提升，模型尺寸分别减小了87.57％和12.82％。在Orin-AGX平台推断时，这些优化模型相较于基准模型，推断延迟分别减小了10.51％和9.47％，能耗分别减小了44.18％和15.34％。

    Apr, 2024

  • 扫描探针显微镜与高性能计算的整合: 固定策略和基于奖励的工作流实施

    通过使用Python接口库，我们构建了一个控制扫描探针显微镜的接口，使得可以从本地计算机或远程高性能计算机进行控制；此工作提供了一个完整的基础设施，用于构建自动化的扫描探针显微镜工作流程。

    May, 2024

  • 利用单次相位恢复神经网络预测相衬成像探针位置

    利用神经网络进行密集分析，基于图像配准以及线性方程的构建和求解，实现ptychography探针位置的准确预测并对大尺度和累积性位置误差进行有效校正。

    May, 2024

  • 电子显微镜分析的基础模型：指令调优小型语言与视觉助手的企业应用

    本研究解决了在半导体成像和分析中，深度学习应用不足导致的精确控制和优化问题。通过视觉-语言指令调优，我们提出了一个小型多模态框架（MAEMI）以改进半导体电子显微镜图像分析，显著提高了小型模型在视觉问答任务中的准确性。实验结果表明，MAEMI超越了传统方法，能够适应数据分布变化，并支持高通量筛选，具有良好的企业应用潜力。

    Aug, 2024