- FastCLIP:有限资源加速 CLIP 训练的一套优化技术
该论文探索了在有限资源下进行 Contrastive Language-Image Pretraining (CLIP) 训练的几个方面,介绍了 FastCLIP 框架及其在资源有限环境下的显著改进。
- 解锁多图匹配的运筹学潜力
我们研究了不完全多图匹配问题,该问题是配对多个有限集合的 NP 难问题的推广,多图匹配在计算机视觉中起着关键作用,已经提出了许多专门的优化技术。我们填补了这一差距,并将已知的多维分配问题近似算法转化为不完全多图匹配问题。通过实验证明,我们的 - 用于解决七自由度机械臂逆运动学的机器学习和优化技术
本文研究了冗余系统的逆运动学问题,探讨了 13 种优化技术,并提出了一种新的方法,比传统的粒子群优化技术快 200 多倍,可能成为结合机器学习的探索能力和数值方法的开发能力的新的研究领域。
- AI 对您的代码进行优化吗?对比当前大型语言模型与经典优化编译器的研究
该论文通过比较分析两种先进的大型语言模型(GPT-4.0 和 CodeLlama-70B)与传统优化编译器在代码优化方面的能力和局限性,以及引入了一套挑战性的优化模式基准和用于评估生成代码性能和正确性的自动机制,发现虽然大型语言模型有超越当 - 优化光度曲线分析:评估 Scipy 的最小化函数在爆发变星的日食制图中的应用
利用 Python 和关键库,重点研究和实施了 Eclipse Mapping 方法,对 Scipy 的最小化函数进行了详细研究。应用多种优化技术解决了带有卡方约束的最大熵方程,用于研究光度曲线并揭示了 KIC 201325107 灾变变星 - MM使用模型指数移动平均的 Adam 算法在非凸优化中的效果
理论分析表明,在各种非凸优化设置中,带有模型指数移动平均(EMA)的 Adam 算法的剪切版本能够实现最佳收敛速度,尤其当坐标间尺度差异显著时,Adam 算法的坐标自适应性具有明显优势。
- 推荐系统中的潜在因子模型概述
推荐系统中的潜在因子模型是一种有效的方法,本文通过结构化框架对潜在因子模型在学习数据、模型架构、学习策略和优化技术等方面进行了系统回顾,并分析了学习数据类型、各种模型和学习策略以及优化策略的趋势与潜在研究方向。
- 张量程序的多级超优化器
Mirage 是首个多级超优化程序,通过引入一种称为 μGraphs 的统一表示方法,在 GPU 计算层次结构的内核、线程块和线程级别上对张量程序进行优化,包括代数转换、调度转换和生成新的自定义内核的新颖优化技术。通过抽象的剪枝技术和概率等 - 基于混合量子经典调度的牛顿梯度下降加速神经网络训练
利用量子线性求解器算法的 Q-Newton 提供了一种加速神经网络训练的混合量子 - 经典调度器,具有指数级加速的潜力,并且在减少训练时间方面表现出显著优势。
- 差分隐私线性模型在高维数据上的综述
通过综合评估不同的优化方法,本研究对高维度差分隐私线性模型的优化方法进行了广泛的回顾,并表明稳健且坐标优化的算法表现最佳,从而为未来的研究提供了重要参考。
- Transformer-Lite: 在手机 GPU 上高效部署大型语言模型
为了在移动设备上高效部署大型语言模型,我们提出了四种优化技术:基于符号表达式的动态模型推断,操作符优化和执行优先级设置,FP4 量化方法以减少反量化开销,以及基于子张量的技术以消除 LLM 推断后的缓存拷贝需求,并利用这些方法实现了移动推断 - 多智能体优化用于网络物理系统安全分析:论文题目
本文提出采用优化技术自动化完成 FMECA 之后的决策过程,以达到关键性和开发约束的最佳解。
- 多准则优化的多精度方法:一项调查
多重保真度优化(MFO)是一种通过分层保真度方法,平衡高保真度准确性和计算效率的成本有效策略,本调查研究了 MFO 的基本原理、方法和应用,并展望了 MFO 领域中的挑战和前景,以促进进一步的研究和合作。
- 最佳子集选择的动态增量优化
本研究探讨了一类 l0 正则化问题的对偶形式,并基于其原始问题和对偶问题结构开发了一种高效的原始对偶算法,通过利用对偶范围估计和增量策略,可能减少了冗余计算并改进了最佳子集选择的解决方案。理论分析和对合成数据集和实际数据集的实验验证了所提出 - OptVerse AI 求解器机器学习内部:设计原则和应用
通过机器学习技术将其整合进华为云的 OptVerse AI Solver,以解决真实世界数学规划实例的稀缺性,并超越传统优化技术的能力,本研究展示了生成复杂 SAT 和 MILP 实例的方法,利用生成模型来模拟真实世界问题的多方面结构。此外 - 超越效率:资源高效的大型语言模型的系统调查
大型语言模型(LLMs)的资源效率调查,系统地介绍了提高 LLMs 资源效率的各种技术,包括优化策略、评估指标和可持续发展。
- 冷原子实验高效优化的机器学习算法回顾与实验基准测试
在本文中,我们展示了对九种不同优化技术和实现方法进行基准测试的结果,以及它们在铷(Rb)冷原子实验中的优化能力。我们使用 3D $^{87}$Rb molasses 进行实验,并将吸收成像得到的原子数作为测试问题。我们还通过调整 2D+ M - 在聚变燃烧等离子体中通过基于替代模型的核心输运求解器优化提升预测能力
本研究提出了 PORTALS 框架,利用代理建模和优化技术,在非线性陀螺动力学模拟中以显著降低的成本预测等离子体核心轮廓和性能,没有精度损失。通过与标准方法的基准测试,证明了 PORTALS 的高效性,并在使用 GPU 加速的非线性 CGY - 针对大数据的 K-means 优化:一项比较研究
本文比较分析了大数据背景下 K-means 算法的不同优化技术。通过并行化、逼近和采样方法等不同方法,探讨了克服大数据规模问题的不同途径。通过使用不同基准数据集评估了这些技术的性能,并根据 LIMA 支配准则在速度、聚类质量和可扩展性方面进 - SEED: 大型语言模型下的简单高效有效数据管理
SEED 是一种面向 LLM 的系统,允许用户轻松创建高效和有效的数据管理应用程序,通过提供代码生成、模型生成和增强 LLM 查询等主要组件来解决 LLM 服务计算和经济上的挑战,并展示其在不同数据管理任务中的效率和有效性。