Jul, 2023

介观尺度机器学习：计算 - 消散瓶颈

PDF
TL;DR在物理系统中信息处理的成本需要在性能和能量消耗之间做出平衡。我们在介观系统中制定和研究了计算 - 耗散瓶颈，并使用实验和人工合成任务展示了非平衡如何促进性能。我们的框架揭示了信息压缩、输入 - 输出计算和非可逆相互作用引起的动态不可逆性之间的重要权衡。
发现论文，激发创造
  • 非平衡物理：从自旋玻璃到机器和神经学习

    混沌多体系统的新兴智能行为可以通过统计物理学来表征，探索学习机制与物理动力学之间的关系，以设计适用于人工智能应用的智能系统。

    Aug, 2023

  • 预测的热力学

    研究表明，系统动力学响应随机信号的过程可以被解释为其计算环境变量的隐含模型；而模型的效率可以用熵来衡量，因此该研究揭示了信息使用的效率与热力学操作的关联。

    Mar, 2012

  • 混沌奇异吸引子的机器学习

    利用混沌非线性吸引子实现低功耗的模拟计算方法，作为机器学习任务的通用平台提供卓越的性能，能够以毫瓦级功率与当前机器学习技术媲美，适用于聚类、回归和分类学习任务。

    Sep, 2023

  • 利用内存中学习训练 AI 系统的能效限制

    学习内存（LIM）是一种最近提出的克服训练机器学习系统中基本内存瓶颈的范式。本文从理论上推导了使用不同的 LIM 方法来训练 AI 系统时能量耗散的新的理论下界，并扩展了这些限制，考虑了训练所使用的浮点运算数量、AI 模型的大小和训练参数的精度。

    Feb, 2024

  • 利用边缘计算硬件控制混沌

    使用机器学习创建数字孪生提供了一种数据驱动的方法，可预测系统行为，而通过采用下一代储层计算的非线性控制器，此模型能够解决控制混沌系统到任意时变状态的难题，并能在嵌入式设备上进行评估，为向计算边缘部署高效的机器学习算法迈出了第一步。

    May, 2024

  • 利用合成活性微粒进行物理储层计算

    用合成主动微粒系统进行物理储水池计算，其中自组织和噪音抑制起到关键作用。

    Jul, 2023

  • 通过信息瓶颈对混沌动力系统进行优化测量

    确定性混沌和完美测量之间存在等价关系，可利用机器学习来优化从轨迹数据中高效提取信息的测量过程。

    Nov, 2023

  • 用深度学习解决 Boltzmann 优化问题

    高性能计算的效率提升趋于尽头，传统的 CMOS 技术面临物理极限，Miniaturization 无法继续进行；以 Ising 模型为基础的计算系统能够接近热力学极限下的能耗，同时兼具逻辑和存储功能，潜在降低 CMOS 计算中昂贵的数据迁移造成的能源成本；本文的贡献是提出一种结合深度神经网络和随机森林的机器学习方法，用于高效解决 Ising 模型中最小化误差的优化问题，并提供一种将 Boltzmann 概率优化问题转化为监督式机器学习问题的过程。

    Jan, 2024

  • 利用机器学习进行信息分解，识别复杂系统中的相关变化

    通过信息熵，我们提出了一种实用的方法来解压数据中的重要变化，以研究复杂系统。

    Jul, 2023

  • 软委员会机器的统计物理学和实践培训

    通过 replica formalism，研究了具有可微激活函数和单个线性输出单元的大型分层神经网络的平衡状态。在学习完全匹配复杂度规则的非常多的隐藏单元的学生网络的基础上，计算了定量的冻结自由能，发现系统在训练集的临界大小下从不专业化到专业化的学生配置的一级相变。通过固定的训练集进行随机梯度下降的计算机模拟表明，平衡结果在实际训练过程中的平台状态中得到了定量描述。

    Dec, 1998