phase transition | BriefGPT

关键词phase transition

搜索结果 - 39

非齐次双层网络的大步长梯度下降法：边界改善与快速优化
神经网络的大步梯度下降（GD）训练通常包括两个不同的阶段，第一阶段中经验风险震荡，而第二阶段中经验风险单调下降。我们研究了满足近准同质条件的两层网络中的这一现象。我们展示第二阶段开始于经验风险低于特定阈值（依赖于步长）的时刻。此外，我们展示
PDF22 days ago
大型语言模型中的关键相变
使用 GPT-2，我们通过数值演示证明了低温和高温两种状态下大型语言模型产生的句子的差异不是平滑变化的，而是具有奇异、发散的统计特征，且关键行为随着过渡温度出现，这些关键行为在自然语言数据集中也有表现。我们还讨论了几个度量临界性质的统计量对
PDFa month ago
大型语言模型输出分布的相变
通过统计距离量化输出生成中的分布变化，本研究利用物理学界提出的自动检测相变的统计方法，成功地将其应用于大型语言模型中，以发现新的行为状态和未探索的转变。
PDFa month ago
Bethe 自由能逼近的凸性和可靠性
通过分析 Bethe 自由能在其定义域的子流形上的平凸性，本文提出了两个基于 Bethe Hessian 矩阵的确定性属性的充分条件，用于验证 Bethe 逼近的可靠性，并建议了 BETHE-MIN 算法用于高效地找到 Bethe 自由能的
PDFa month ago
极具挑战的平方分配问题的研究：QAP-SAT 实例
本研究探讨了 Quadratic Assignment Problem 的相变现象，通过引入新的基于子模块性的 QAP-SAT 设计来捕捉问题的复杂度，并使用分支界限和禁忌搜索求解器对其进行实验研究，在此基础上提出了相变参数，发现禁忌搜索的
PDF4 months ago
扩散模型中的相变揭示了数据的层级性质
研究表明，扩散模型在捕捉图像等自然数据中的层次组合特征方面具有潜力，通过分析层次生成模型的反向扩散过程，发现在某个阈值时间后，高层次特征的重构概率突然下降，而低层次特征的重构则在整个扩散过程中平滑演化，这为扩散模型的时间与尺度关系提供了理论
PDF4 months ago
GenEFT：通过有效理论理解模型泛化的静态和动态
我们提出了 GenEFT：一种有效的理论框架来阐明神经网络泛化的静态和动态，并通过图学习的示例进行说明。我们首先研究了数据大小增加时的泛化相变，并将实验结果与基于信息论的近似进行了比较，发现在解码器既不太弱也不太强的 “金发区” 中存在泛化
PDF5 months ago
主动学习下的相态发现：在等原子比例的 NiTi 中的结构相变应用
通过使用四个机器学习力场模型针对镍钛（NiTi）合金的分子动力学模拟，我们发现 LDA、PBE、PBEsol 和 SCAN DFT 功能密度理论的模型仅 SCAN 模型能够预测可逆的 B19' -> B2 相变，而其他模型则预测了一个以前未
PDF6 months ago
洗牌回归的相变现象
研究脉冲信号传导、高斯近似方法在解决相位转变问题中的应用。
PDF8 months ago
大语言模型中的阶段转变的简单解释与列表译码
大型语言模型的性能表现呈现阶段性转变现象，此现象存在临界阈值与传染疾病的基本再生数量相关。采用列表解码器可有效控制候选序列的数量。
PDFa year ago
MM知识编译中的相变行为
研究随机 k-CNF 公式的规模和编译时间行为，以及使用知识编译进行的大小和运行时行为的严格实证研究和分析，类似于 SAT / CSP 社区对相变行为的早期研究，我们鉴定了不同参数方面的有趣行为：子句密度和解密度，并总结我们的经验研究。
PDF4 years ago
深度学习的大学习率阶段：弹射机制
本文研究了学习速率对深度神经网络性能的影响，提出了一种具有可解训练动态的神经网络类，并在实际深度学习环境中验证了其预测，发现小学习率相当于传统理论下的无穷宽神经网络，而大学习率相当于梯度下降动态收敛到更平坦的极小值点，模型中预测的大而稳定的
PDF4 years ago
ICML缺失数据下 PCA 的相变：降低信噪比而非样本量！
本文研究探讨缺失数据如何影响我们学习信号结构，提出了概率主成分分析的方法用于估算缺失数据模型的信号结构，理论表明缺失数据会有效降低信噪比，而不是像通常认为的降低样本量，预测出学习曲线中的临界状态和相变现象，这一结论在模拟数据和真实数据中都得
PDF5 years ago
神经网络宽度对性能的好处：不良盆地的消失
本文证明了从窄网络到宽网络的过渡存在一个相变，窄网络存在次优盆地（sub-optimal basins），而宽网络不存在。具体地，采用连续激活函数的一类宽网络损失曲面没有亚优盆地，但是对于宽度低于阈值的大类网络，存在不是全局最小值而是严格局
PDF6 years ago
欠参数化向过参数化的阻塞转换对损失曲面和泛化的影响
本文利用学术研究和实验结果论证了：当超参数数量足够多时，理论上可以达到较好泛化性能，同时我们给出了在该网络中哪些类别存在过拟合现象，这一发现与其他研究结果相符合。
PDF6 years ago
基于随机块模型的超图：统计极限和半定规划方法
该文章探讨了在随机超图模型中用于社区检测的随机块模型问题（k-SBM），研究了正确定位问题并表明其存在阈值现象：在阈值以下不可能以非零概率找回社区，而在阈值之上，有一个估计器几乎可以确定性地找回社区。作者还考虑了一种基于半定松弛技术的精确恢
PDF6 years ago
高维逻辑回归中最大似然估计存在的相变
本文通过建立高维逻辑回归模型中最大似然估计 MLE 存在性的分界曲线，证明 MLE 的存在性具有 “相变” 的特性，当问题具有足够高的维数时 MLE 几乎不可能存在，曲线参数由回归系数未知序列的整体大小确定。
PDF6 years ago
神经网络学习复杂性
本文研究神经网络的理论解释，针对单个隐藏层、平滑激活函数和良好输入分布条件下生成的数据可否进行有效学习，证明了对于广泛的激活函数和任何对数凹分布的输入，存在一类单隐藏层函数，其输出为和门，难以以任何精度有效地学习，这一下界对权重的微小扰动具
PDF7 years ago
社区检测的计算机科学和物理学：景观、相变和难度
研究社区检测在图中的应用，探究其作为推理问题的一个重要方面。通过研究相应的概率和计算机方法，发现了社区检测存在相变点，在此点之前，该问题是无法解决的，并且在信息理论阈值以上，已知存在能够成功解决该问题的算法。此研究为计算机科学家提供了丰富的
PDF7 years ago
用受限玻尔兹曼机加速蒙特卡罗模拟
本文提出了将人工神经网络用于蒙特卡罗方法的改进，使其在统计物理问题中的混合时间得以加速，具体应用于 Falicov-Kimball 模型，并在其相变点附近展示了接受比率和自相关时间的提高。
PDF8 years ago