optimization algorithms | BriefGPT

关键词optimization algorithms

搜索结果 - 144

在 Wasserstein 空间中的镜像和预处理梯度下降
通过在 Wasserstein 空间上引入测度梯度的离散时间方案，证明了一些目标函数和正则化器的收敛性，同时展示了在计算生物学中选择不同的差异度和几何结构的优势。
PDF20 days ago
ICML一个通用的尖锐感知最小化算法类
最近，对于过参数化模型开发优化算法的兴趣不断增加，因为普遍认为实现泛化需要具有适当偏差的算法。本文针对仅考虑少数尖锐度测量值的文献提出了新的尖锐度测量方法，并证明了这些测量方法的普遍表达性，以及它们如何对模型的参数不变性有着显著的影响。此外
PDFa month ago
ACCO：分布式 LLM 训练中隐藏通信的累积通信技术
我们提出了一种适用于大规模语言模型分布式训练的高效优化算法，可以减小通信成本，加速收敛速度，并且适应异构硬件。
PDFa month ago
LightCPPgen: 细胞穿透肽有理设计的可解释机器学习流程
该研究介绍了一种创新方法，结合机器学习和优化算法，通过 LightGBM 预测模型和遗传算法系统地生成和优化细胞穿透肽（CPP）序列，从而有效提高 CPP 的可解释性和可理解性。
PDFa month ago
机器学习中的数据最小化原则
基于法律定义，本文介绍了数据最小化的优化框架，并使用多个优化算法来实现数据最小化，通过对合规性和用户隐私影响的全面评估，我们的分析强调了数据最小化的隐私预期与实际隐私利益之间的不匹配，强调了需要考虑现实世界隐私风险的多个方面的方法的需求。
PDFa month ago
高阶张量恢复的 L1 - 范数正则化 Kaczmarz 算法的能力
本文提出了利用稀疏性和 / 或低秩性的张量数据重建高阶张量的新颖 Kaczmarz 算法，并开发了块和加速变体，以及对这些算法的充分收敛分析。对合成和真实数据集上的各种数值实验表明，所提方法在图像和视频处理任务中具有显著的潜力和有效性，例如
PDF2 months ago
揭示物理任务导向神经网络的优化过程：PINN 能有多准确和有竞争力？
研究通过改进优化算法和调整损失函数，得出物理感知神经网络在多个领域具有与有限差分方案相当的准确性，鼓励进一步推动 PINNs 和相关优化技术在各个领域的应用。
PDF2 months ago
半途逃生优化：复杂优化问题的量子启发式解决方案
该论文提出了半途遁地优化（HEO）算法，一种新颖的量子启发式元启发式算法，旨在解决具有复杂优化问题的崎岖地形和高维度的问题，具有高效的收敛速度。研究对 HEO 的性能进行了全面比较评估，包括与已有的优化算法（包括粒子群优化、遗传算法、人工鱼
PDF2 months ago
React-OT: 化学反应中生成过渡态的最优输运
React-OT 是一种快速生成过渡态结构的优化传输方法，在化学反应的探索中具有高准确性和快速推断的潜力。
PDF2 months ago
大型语言模型的推理效率从粗粒度到细粒度评估
通过对各种代码库的推理性能进行粗细的分析，本研究提供了研究人员评估代码库和改进推理策略的宝贵综合结果。
PDF3 months ago
个性化大型语言模型的优化方法：通过检索增强
本研究论文探讨了扩展的检索方法用于个性化大型语言模型，通过两种优化算法从下游任务获取反馈进行检索优化，并引入了一个预生成和后生成的检索模型来决定每个语言模型输入应选择哪个检索器。在多个任务中进行了大量实验，并获得了显著的统计结果。
PDF3 months ago
具有 PAC-Bayesian 保证的学习优化：理论考虑和实践实现
用 PAC-Bayesian 理论为学习优化问题提供了第一个具备可证估计以及收敛保证和收敛速度权衡的框架，学习出的优化算法在比起仅从最坏情况分析得出的算法上具备可证的优越性能，基于指数族的 PAC-Bayesian 上界对一般的、可能无界的
PDF3 months ago
FireANTs：自适应黎曼优化用于多尺度同胚配准
本文提出了基于多尺度自适应黎曼优化算法的可微分图像配准，该算法在结构和地标覆盖度量上显示出了令人信服的改进，并在现有算法的基础上加速了 300 倍至 2000 倍。
PDF3 months ago
应用于野火科学的大规模非光滑最大熵模型的高效一阶算法
介绍了一种优化算法，有效地训练了大规模、非光滑的最大熵模型，通过考虑西部美国的野火数据集，结果显示与野火发生的物理模型和以往统计分析结果相符，并且性能超过现有算法一个数量级。
PDF4 months ago
Transformer 对于上下文中的牛顿法能模拟多好？
利用线性注意力变换器实现逻辑回归的二阶优化算法，并仅需要对数层数量的误差即可实现 epsilon 误差。
PDF4 months ago
可控蛋白质序列设计的生成式人工智能：综述
通过综述最新的生成式人工智能在可控蛋白序列设计方面的进展，本文提出了蛋白质工程、生成式人工智能、蛋白序列设计、优化算法和研究机会等关键词，以及未解决的挑战。
PDF5 months ago
用于自动分析优化算法的大型语言模型
利用大型语言模型（LLMs）在优化算法领域中的潜力，我们将它们集成到 STNWeb 中，通过生成详细的书面报告和自动生成的图表，提升用户体验，减少研究社区对该工具的采用障碍。同时，我们的方法还可以扩展到优化领域的其他工具，展示了 LLMs
PDF5 months ago
使用梯度下降训练形态神经网络：一些理论洞见
研究了基于差分和反向传播的形态学网络的潜力和限制，尤其是在初始化和学习速率方面的理论指导，以解决当形态学网络层数增加时的训练困难。
PDF5 months ago
复杂视觉系统上的多任务学习鲁棒性分析
多任务学习中的问题和挑战，包括优化算法的评估，梯度级别的比较，梯度角度和相对梯度范数的局限性，以及基于特征提取器的潜在空间和特征解缠的训练监测结果。
PDF5 months ago
AA-DLADMM：一种基于加速 ADMM 的深度神经网络训练框架
提出了一种名为 AA-DLADMM 的算法，它使用了 Anderson 加速以改进 ADMM 优化算法的收敛速度，通过在四个基准数据集上进行广泛实验证明了该算法的有效性和效率。
PDF6 months ago