通过物理对称性学习可解释的低维表示
本文提出了一种基于 VAE 的音乐分离模型,用于将和弦和纹理这两个可解释的因子分离出来,从而实现音乐生成过程的可控,在生成音乐时具有广泛的应用,包括作曲风格转换、纹理变化和伴奏编排,并通过客观和主观评价证明了该方法的成功分离和高质量的音乐生成。
Aug, 2020
本论文探讨了如何利用无监督的声学特征来增强语音识别,其中,通过学习始终对某些变换和变形不变的音频信号表示,实现了对短小的语音样本的有效处理,从而极大地提升了元音分类的准确性并降低了样本复杂性。
Jun, 2014
通过将对称性破缺的场论应用于损失函数存在连续对称性而被随机初始化破缺的机器学习模型中,我们展示了在时间序列模型中的 “带电” 嵌入矢量的规范理论,利用超导和对称性破缺在时间表示学习中之间的相似性,使得损失函数规范不变可以加速模型收敛。
Jul, 2019
本文介绍了一种可以用于处理弱长程相互作用问题的通用框架,其中包括压缩感知问题或感知器学习问题,框架利用了统计物理学的分析工具来研究其解决方案的基本限制,并提出了解决方案算法,这可以为机器学习提供有益的工具。
Jun, 2023
对于建模原子尺度物质性质的模型,以对称性作为归纳偏差普遍被采用。然而,非对称模型也能从数据中学习对称性,并对模型准确性有益。本研究测试了一个仅近似满足旋转不变性的模型在模拟气相、液态和固态水的实际场景中的性能,发现其在插值、大体积情况下几乎无影响。即使在外推气相预测中,该模型仍然非常稳定,尽管有对称性伪迹存在。我们还讨论了系统减小对称性破缺程度的策略,并评估其对观测量收敛性的影响。
Jun, 2024
对于机器学习模型的对称性和内部数据表示之间的关联,我们提出了本文中阐述的模型内联群的概念,通过相似实验,我们将内联群与具有相同架构的模型之间的隐藏状态相似性联系起来,从而更好地理解体系结构如何影响学习和预测过程。最后,我们猜测对于 ReLU 网络,内联群可能提供一种合理的解释为什么要在隐藏层中集中探索模型可解释性。
May, 2022