optimization algorithms | BriefGPT

关键词optimization algorithms

搜索结果 - 148

训练两层物理引导神经网络的隐式梯度下降收敛性
本文提供了用于训练过参数化的两层物理信息神经网络的隐性梯度下降法的收敛性分析，证明了常见的平滑激活函数（如 sigmoid 函数、softplus 函数、tanh 函数等）的 Gram 矩阵是正定的。通过过参数化，随机初始化的隐性梯度下降法
PDF5 days ago
通过标准蒙特卡洛和准蒙特卡洛方法调整萤火虫算法的参数
该研究探讨了优化算法中参数值对算法性能的影响，并使用萤火虫算法以及蒙特卡洛方法和拟蒙特卡洛方法进行参数调优，结果表明不同方法在优化表现上没有明显差异，显示了该算法的鲁棒性。
PDF7 days ago
深度学习中优化假设的实证测试
我们通过开发新的实证度量标准来对能够解释现代优化算法的分析假设进行仔细的测量，发现所有我们测试的假设（包括基于 Hessian 界限的典型现代假设）都无法可靠地捕捉优化性能，这凸显了对理论分析中使用的分析假设进行新的实证验证的需求。
PDF7 days ago
基于元学习的大规模无线系统优化
使用基于元学习的非凸优化方法，本研究旨在克服传统优化算法在大规模无线系统中复杂度过高的问题，并成功地优化了三种 6G 技术的性能，揭示了大规模情况下操作的未知方面。
PDF7 days ago
在 Wasserstein 空间中的镜像和预处理梯度下降
通过在 Wasserstein 空间上引入测度梯度的离散时间方案，证明了一些目标函数和正则化器的收敛性，同时展示了在计算生物学中选择不同的差异度和几何结构的优势。
PDF25 days ago
ICML一个通用的尖锐感知最小化算法类
最近，对于过参数化模型开发优化算法的兴趣不断增加，因为普遍认为实现泛化需要具有适当偏差的算法。本文针对仅考虑少数尖锐度测量值的文献提出了新的尖锐度测量方法，并证明了这些测量方法的普遍表达性，以及它们如何对模型的参数不变性有着显著的影响。此外
PDFa month ago
ACCO：分布式 LLM 训练中隐藏通信的累积通信技术
我们提出了一种适用于大规模语言模型分布式训练的高效优化算法，可以减小通信成本，加速收敛速度，并且适应异构硬件。
PDFa month ago
LightCPPgen: 细胞穿透肽有理设计的可解释机器学习流程
该研究介绍了一种创新方法，结合机器学习和优化算法，通过 LightGBM 预测模型和遗传算法系统地生成和优化细胞穿透肽（CPP）序列，从而有效提高 CPP 的可解释性和可理解性。
PDFa month ago
机器学习中的数据最小化原则
基于法律定义，本文介绍了数据最小化的优化框架，并使用多个优化算法来实现数据最小化，通过对合规性和用户隐私影响的全面评估，我们的分析强调了数据最小化的隐私预期与实际隐私利益之间的不匹配，强调了需要考虑现实世界隐私风险的多个方面的方法的需求。
PDFa month ago
高阶张量恢复的 L1 - 范数正则化 Kaczmarz 算法的能力
本文提出了利用稀疏性和 / 或低秩性的张量数据重建高阶张量的新颖 Kaczmarz 算法，并开发了块和加速变体，以及对这些算法的充分收敛分析。对合成和真实数据集上的各种数值实验表明，所提方法在图像和视频处理任务中具有显著的潜力和有效性，例如
PDF2 months ago
揭示物理任务导向神经网络的优化过程：PINN 能有多准确和有竞争力？
研究通过改进优化算法和调整损失函数，得出物理感知神经网络在多个领域具有与有限差分方案相当的准确性，鼓励进一步推动 PINNs 和相关优化技术在各个领域的应用。
PDF2 months ago
半途逃生优化：复杂优化问题的量子启发式解决方案
该论文提出了半途遁地优化（HEO）算法，一种新颖的量子启发式元启发式算法，旨在解决具有复杂优化问题的崎岖地形和高维度的问题，具有高效的收敛速度。研究对 HEO 的性能进行了全面比较评估，包括与已有的优化算法（包括粒子群优化、遗传算法、人工鱼
PDF2 months ago
React-OT: 化学反应中生成过渡态的最优输运
React-OT 是一种快速生成过渡态结构的优化传输方法，在化学反应的探索中具有高准确性和快速推断的潜力。
PDF3 months ago
大型语言模型的推理效率从粗粒度到细粒度评估
通过对各种代码库的推理性能进行粗细的分析，本研究提供了研究人员评估代码库和改进推理策略的宝贵综合结果。
PDF3 months ago
个性化大型语言模型的优化方法：通过检索增强
本研究论文探讨了扩展的检索方法用于个性化大型语言模型，通过两种优化算法从下游任务获取反馈进行检索优化，并引入了一个预生成和后生成的检索模型来决定每个语言模型输入应选择哪个检索器。在多个任务中进行了大量实验，并获得了显著的统计结果。
PDF3 months ago
具有 PAC-Bayesian 保证的学习优化：理论考虑和实践实现
用 PAC-Bayesian 理论为学习优化问题提供了第一个具备可证估计以及收敛保证和收敛速度权衡的框架，学习出的优化算法在比起仅从最坏情况分析得出的算法上具备可证的优越性能，基于指数族的 PAC-Bayesian 上界对一般的、可能无界的
PDF3 months ago
FireANTs：自适应黎曼优化用于多尺度同胚配准
本文提出了基于多尺度自适应黎曼优化算法的可微分图像配准，该算法在结构和地标覆盖度量上显示出了令人信服的改进，并在现有算法的基础上加速了 300 倍至 2000 倍。
PDF3 months ago
应用于野火科学的大规模非光滑最大熵模型的高效一阶算法
介绍了一种优化算法，有效地训练了大规模、非光滑的最大熵模型，通过考虑西部美国的野火数据集，结果显示与野火发生的物理模型和以往统计分析结果相符，并且性能超过现有算法一个数量级。
PDF4 months ago
Transformer 对于上下文中的牛顿法能模拟多好？
利用线性注意力变换器实现逻辑回归的二阶优化算法，并仅需要对数层数量的误差即可实现 epsilon 误差。
PDF4 months ago
可控蛋白质序列设计的生成式人工智能：综述
通过综述最新的生成式人工智能在可控蛋白序列设计方面的进展，本文提出了蛋白质工程、生成式人工智能、蛋白序列设计、优化算法和研究机会等关键词，以及未解决的挑战。
PDF5 months ago