Feb, 2024

模拟过参数化

PDF
TL;DR在这项研究中，我们介绍了一种名为模拟超参数化（SOP）的新范式。SOP 将紧凑模型的计算效率与超参数化模型的先进学习能力相结合，提出了一种独特的模型训练和推断方法。我们提出了一种与主流架构（包括 Transformer 模型）无缝集成的架构无关算法 “majority kernels”，该算法使得模拟超参数化模型的训练，在各种数据集和模型上表现出强大的性能，并在训练时间中增加了最小的开销。
发现论文，激发创造
  • 学习潜变量模型中过度参数化的益处的实证研究

    通过合成和半合成实验，我们对无监督学习中的超参数化不同方面进行了实证研究，发现在各种模型（如嘈杂 OR 网络、稀疏编码、概率上下文自由语法）和训练算法（如变分推断、交替最小化、期望最大化）中，超参数化可以显著增加回收潜在变量的数量。

    Jun, 2019

  • 过度参数化提高对抗攻击的鲁棒性：一项复制研究

    研究过参数化在机器学习中的应用，发现其在提高模型准确性和稳健性方面的作用还有待进一步探究，需要结合智能架构实现全面稳健。

    Feb, 2022

  • 从超参数化机器学习理论的角度看偏差 - 方差折中问题的再思考

    本文概述了 “过参数化机器学习” 的新理论，通过统计信号处理的角度解释最近研究发现的相应现象和结果，着重强调了这个研究领域的独特性和开放的问题。

    Sep, 2021

  • 超参数化为什么会加剧虚假相关性的调查

    研究超参数化为什么会增加模型大小，尽管数据中存在虚假相关性，具有各种数量的少数族裔，理论上证明模型的归纳偏差会导致过度参数化的问题，并提出子抽样是有效的解决方案。

    May, 2020

  • 走向 Sobolev 训练

    利用灵敏度信息在学习和修剪过程中建立替代模型的新方法，以解决模型尺寸减小带来的敏感性和不确定性变化的问题，并以定量金融为案例研究进行实证验证。

    Dec, 2023

  • 自动学习紧凑的质量感知代理，用于优化问题

    通过将优化问题表示为元变量的线性组合，我们学习了大规模优化问题的低维代理模型。通过端到端地训练低维代理模型和预测模型，我们实现了训练和推断时间的大幅减少，同时通过关注优化中的重要变量和在更平滑的空间中学习来提高性能。

    Jun, 2020

  • 正交过参数化训练

    该研究提出了一种新的正交超参数训练 (OPT) 框架，该框架可以证明地最小化描述神经元多样性的超球面能量，通过保持最小超球面能量来提高神经网络的泛化能力。

    Apr, 2020

  • 合成过采样：理论和使用 LLMs 解决数据不平衡的实践方法

    不平衡数据和虚假关联是机器学习和数据科学中常见的挑战。本文介绍了 OPAL（使用人工生成的 LLM 数据进行过采样），一种系统的过采样方法，利用大型语言模型（LLMs）生成高质量的少数类别合成数据，与深度生成模型进行预测任务的合成数据生成方法有所不同，着重解决不平衡数据和虚假关联问题，并提出了新的理论来严格表征使用合成数据的益处，并展示了变压器在生成标签和协变量的高质量合成数据方面的能力。此外，我们进行了大量的数值实验，以证明我们提出的方法相较于一些代表性的替代方案更加有效。

    Jun, 2024

  • 稀疏最大更新参数化：一种稀疏训练动态的整体方法

    通过重新参数化超参数，SμPar 可以在不同的稀疏度级别和模型宽度变化时实现相同的最优超参数值，以解决稀疏神经网络的挑战，并在大规模语言建模中实现高达 8.2％的损失改进。

    May, 2024

  • 通过机器学习支持的多物理仿真优化改进

    这篇论文介绍了一种用于训练、自我优化和自我组织的代理模型方法论框架，用于逼近和加速多物理模拟，通过与两种优化算法和一种综合评估策略的结合训练和优化管道的性能评估，实验证明了代理模型能够准确逼近基础模拟，并使用可解释的 AI 技术分析代理模型并进行预选择策略以确定真实示例中最相关的特征。

    Sep, 2023