training strategy | BriefGPT

关键词training strategy

搜索结果 - 75

SSNVC: 单流神经视频压缩与隐式时态信息
本文介绍了一种新型的单流神经视频压缩（SSNVC）框架，通过删除复杂的运动矢量编码解码结构和使用一阶段训练策略，实现了去除特定模块、简化训练流程并提高重构帧质量的目标。实验证明，SSNVC 在多个基准测试中表现出具有最新技术性能，大大简化了
PDF23 days ago
Poseidon：高效的偏微分方程基础模型
Poseidon 是一种基于多尺度算子变换器的基础模型，使用时间条件化层规范化实现了连续时间评估，通过利用时间相关的 PDE 半群属性提出了一种新的训练策略，极大地扩展了训练数据规模，经预训练后在 15 个具有挑战性的下游任务中展现出卓越性
PDFa month ago
预训练物理信息深度学习的基于减小阶数的非线性参数化 PDE 模型
使用 Proper Orthogonal Decomposition (POD) 和基于深度学习的 ROMs (DL-ROMs) 的耦合是构建参数非线性时变 PDE 实时解的非侵入性高精度代理的成功策略，然而传统 POD-DL-ROMs 通
PDF2 months ago
CVPR具有鲁棒性和可解释性的细粒度视觉分类与迁移学习：双车道框架
通过使用双行道框架 (DCF) 这一自动的最佳训练解决方案搜索框架，本研究填补了缺乏方法来系统地决定最佳训练策略的不足，并证实了 DCF 在精细化视觉分类任务中引导鲁棒且解释性人工智能解决方案发展的潜力。
PDF2 months ago
GhostNetV3：探索紧凑模型的训练策略
在本文中，我们通过系统研究不同的训练方法，为紧凑型模型引入了一个强大的训练策略，发现改良的重新参数化和知识蒸馏的设计对于训练高性能的紧凑型模型至关重要，而一些用于训练常规模型的常用数据增强方法，如 Mixup 和 CutMix，会导致性能下
PDF3 months ago
LLM 亲境召回取决于提示
通过使用 needle-in-a-haystack 方法分析各种大型语言模型的上下文召回性能，我们的研究表明模型的成功检索能力不仅取决于提示内容，而且还可能受到训练数据中的偏见的影响。相反，通过对模型架构、训练策略或微调进行调整可以提高性能
PDF3 months ago
视频超分辨率的时间序列初始化和调整：使用循环神经网络进行视频无关稳定
本研究提出了一种适用于视频超分辨率的循环神经网络（RNN）的训练策略，该策略可以有效和稳定地工作，与视频长度和动态性无关。通过训练一个 VSR 网络，该方法通过改变不同的 RNN 隐藏状态来稳定 VSR，并通过复用隐藏状态以降低计算成本。此
PDF3 months ago
视觉语言预训练模型参数高效微调的实证研究
最近的研究应用了参数高效微调技术（PEFTs）来有效缩小预训练和下游任务之间的性能差距。该研究发现，对于与预训练一致的下游微调任务，数据规模不再影响性能，而可微参数规模的影响并不单调，这种观察可指导 PEFTs 的训练策略选择。
PDF4 months ago
通过融合高度专业化的语言模型，同时掌握文本、代码和数学
我们提出了一种融合不同领域模型的框架，UltraFuser，通过引入令牌级别的门控机制以及两阶段训练策略，以高效稳定的方式训练模型，并构建了一个具有广泛话题覆盖的高质量训练数据集，UltraChat 2，在文本、代码和数学领域展现出高水平的
PDF4 months ago
WSDMWSDM Cup 2024 的第一名解决方案：利用大型语言模型进行对话式多文档问答
我们介绍了我们在 WSDM Cup 2024 的 “Conversational Multi-Doc QA” 挑战中的获胜方法，利用了大型语言模型（LLM）的优越自然语言理解和生成能力，通过将 LLMs 调整到任务需求，制定了混合训练策略来
PDF4 months ago
绿色跑者：高效的深度学习组件选择工具
通过大语言模型的推理能力，本研究提出了一种新颖的工具 oolname，可以基于自然语言提供的应用场景自动选择和评估模型，并通过将问题描述中的约束和权衡因素整合到模型选择过程中来实现资源高效的实验引擎。初步评估结果表明，与临时评估和蛮力方法相
PDF5 months ago
医学图像分割密集层级表示的自监督学习
通过自监督框架学习适用于密集下游任务的体素级粗细粒度表示，通过平衡多尺度特征的贡献，确保学习到的表示捕捉到粗粒度和细粒度的细节，并在有限的注释数据下持续优于基准模型。
PDF6 months ago
可扩展的归一化流为大分子提供玻尔兹曼生成器
利用分裂通道和门控注意力的新型流架构，结合 2-Wasserstein 损失函数，使得 Boltzmann 生成器能够有效地学习蛋白质的构象分布，并在标准架构和训练策略无法成功的情况下，成功地模拟了蛋白质 G 和 HP35 的构象分布。
PDF6 months ago
基于物理知识的神经网络在高频和多尺度问题上的应用及迁移学习
提供了使用转移学习来增强 PINN 的鲁棒性和收敛性的训练方法，通过两个案例研究发现转移学习可以有效训练 PINN 在低频问题到高频问题的近似解，同时减少了网络参数，所需数据点和训练时间。同时提供了优化器选择和使用转移学习解决更复杂问题的指
PDF6 months ago
利用深度网络在训练阶段仅针对非线性黑盒系统识别的能力
为了在系统辨识中充分利用深度模型的建模能力，本研究提出了一种新的训练策略，仅在训练阶段使用深度模型。通过采用两个具有不同结构和目标的分离模型，第一个模型是目标为模拟系统输出分布的深度生成模型（教师模型），第二个模型是基于浅层基函数的模型（学
PDF6 months ago
线性模块连接的分离
神经网络损失地形的线性模式连接 (或缺乏连接) 是一个有趣的特性，尽管在经验上已经被证实，但还缺乏适当的理论理解。本文通过探讨三个因素（架构、训练策略和底层数据集）对线性模式连接的影响，旨在弥补文献中对当网络展示线性模式连接的系统性研究的不
PDF7 months ago
文本到图片生成的定制助手
建立基于预训练大型语言模型和扩散模型的定制助手，能够在无需微调的情况下进行自定义生成，实现与用户的更友好交互。
PDF7 months ago
EMNLP检索与复制：将 ASR 个性化扩展至大规模目录
针对自动语音识别模型的个性化问题，我们提出了一种 “检索和复制” 机制和训练策略，以改善稀有词汇和特定领域实体的识别精度，实验结果显示与基线相比，我们的方法在词错误率降低 6%，F1 得分提高 3.6%，且在每个声学帧至少提升 20% 推理
PDF8 months ago
Medi-CAT: 医学图像分类的对抗对比训练
这篇论文研究了在医学图像数据集中，由于欠拟合和过拟合现象，无法很好地工作的深度学习模型问题，并提出了一种名为 Medi-CAT 的训练策略，采用了大型预训练视觉变换器以克服欠拟合，并采用对抗性和对比性学习技术以防止过拟合，实验结果表明，相比
PDF8 months ago
MM通过伪平行数据增强无监督机器翻译
即使有深度学习和大规模语言建模的最新发展，对于低资源语言的机器翻译任务仍然是一个挑战。我们提出了一种训练策略，依赖于从单语语料库中挖掘的伪平行句对和从单语语料库中反向翻译的合成句对。我们尝试了不同的训练计划，并在基于仅反向翻译数据训练的基线
PDF8 months ago