architectural choices | BriefGPT

关键词architectural choices

搜索结果 - 8

神经网络训练中异常特征的理解和最小化
深入研究在神经网络训练中为什么会出现异常特征（Outlier Features），如何最小化它们的影响，并提出了预防措施，包括量化指标、架构选择、信号传播控制等。
PDFa month ago
学习组合：通过注入组合性提高对象中心学习
学习组合表示是目标为中心的学习的关键方面，它实现了灵活的系统化推广并支持复杂的视觉推理。然而，大多数现有方法依赖于自编码目标，而复杂性通常是由编码器中的架构或算法偏差隐含地施加的。本研究中，我们提出了一种新的目标，明确促进这些表示的复杂性。
PDF2 months ago
多模态大型语言模型的（R）演进：一项调查
连接文本和视觉模态在生成智能中起着关键作用。受大型语言模型成功的启发，目前正在大量研究开发多模态大型语言模型 (MLLMs)。本文全面回顾了最近的面向视觉的 MLLMs，分析了它们的体系结构选择、多模态对齐策略和训练技术。同时，还对这些模型
PDF4 months ago
主动第三人称模仿学习
通过选择适当的视角从有限的信息中获取专家行为进行第三方模仿学习，并使用生成对抗网络的主动学习方法来理论分析和实证研究其特性和对学习者性能的重要性。
PDF6 months ago
潜空间中的多操作数学推导
通过使用符号引擎，本研究探讨了在潜空间中逼近多个数学运算的可能性，引入了不同的多运算表示范式，将数学运算建模为明确的几何变换，实现了 1.7M 个推导步骤的大规模数据集，分析了每个范式在与先进的神经编码器实例化时的特性，发现多运算范式对于区
PDF8 months ago
深度学习训练不稳定性的损失曲率视角
本论文探究了损失海森矩阵在多项分类任务中的演化，以了解损失曲率对训练动态的影响。结果表明，成功的模型和超参数选择能够使早期的优化轨迹避免或穿越高曲率区域并进入扁平区域，提高学习率稳定性，类似于各种训练不稳定性缓解策略最终解决神经网络优化的相
PDF3 years ago
ICLR身份危机：极端过参数化下的记忆和泛化
研究过参数化网络在单个训练样本和恒等映射任务中，记忆与泛化之间的相互作用。通过正式表征单层 FCNs 和 CNNs 中的泛化，我们展示了不同架构的归纳偏见。我们的工作有助于量化和可视化感性偏见对架构选择（如深度，内核宽度和通道数量）的敏感性
PDF5 years ago
LSTM 网络基准测试
该技术报告描述了使用 MNIST 和 UW3 数据库对 LSTM 网络进行基准测试的结果，并探讨了不同架构和超参数选择对性能的影响。该研究表明：（1）LSTM 性能平滑地取决于学习率，（2）批处理和动量对性能没有显着影响，（3）softma
PDF9 years ago