pre-training | BriefGPT - AI 论文速递

关键词pre-training

搜索结果 - 814

DEPTH：分层预训练的议程教育
深度是一个编码器 - 解码器模型，通过在预训练过程中引入面向语篇的目标来提高语言模型在语篇层面上的理解能力。通过结合层次化的句子表示和两个目标：句子重排和跨度破坏，深度能够更快地学习语义和语篇级别的表示，从而拓展了 T5 在语篇能力方面的表
PDF4 days ago
用于异常检测和定位的分形预训练数据集
通过使用动态生成的分形图像对比使用 ImageNet 预先训练的模型，我们评估了八种最先进的模型在异常检测任务中的性能，虽然 ImageNet 的预训练仍然是最好的选择，但分形图像的结果非常有希望，这表明了在处理机器学习中日益增长的数据需求
PDF6 days ago
大规模语言模型的线性化
通过线性变压器架构，降低预训练成本，提出了一种代价效益较高的线性变压器预训练方法 SUPRA，并在标准基准测试中取得了竞争性的性能。
PDF7 days ago
CVPRDriveWorld：4D 预训练场景理解通过 World 模型用于自动驾驶
通过 DriveWorld 框架，从多摄像头自驾车视频中进行时空预训练，有效提高了各种自主驾驶任务的性能。
PDF10 days ago
QuadraNet V2：高阶神经网络的高效可持续训练与二次适应
介绍了一种利用二次神经网络创建高阶学习模型的新框架 QuadraNet V2，通过利用预训练的权重来减少训练所需 GPU 时间，同时提高了信息表征能力。
PDF11 days ago
ICLR從原則出發的數據選擇，為 LLMs 的預熱微調提供更多、花費更少
使用无标签开放数据进行预精调预训练语言模型以最小化领域特定数据需求，并在达到预期性能水平的同时选择数据以将预训练分布推向目标分布的优化方法，展示了该方法在各种任务中的优越性和快速性，为经济高效的微调奠定了基础。
PDF12 days ago
时间序列基础模型综述：利用大型语言模型进行时间序列表示的泛化
对时间序列进行分析的基础模型的研究和应用，包括从头开始预训练基础模型和适应大型语言基础模型进行时间序列分析的方法，并提供了一种 3E 分析框架和一个领域分类系统来帮助该领域的发展。
PDF14 days ago
COLINGSoftMCL：面向细粒度情感感知的软动量对比学习预训练
通过软标签监督，提出了一种软动量对比学习方法（SoftMCL），用于细粒度的情感感知预训练，在单词和句子级别上增强模型学习情感信息的能力，并通过克服硬件平台的限制，扩展了对比样本的数量。实验结果表明所提出的 SoftMCL 方法的有效性。
PDF14 days ago
CVPR合成数据应对多模态语音和手势合成中的数据短缺问题
人机交互中通过文字合成语音音频和共同语音三维手势运动的方法是一个新兴的领域。本研究提出了通过合成附加训练材料的简单解决方案来解决数据短缺问题，并通过引入更好和可控的韵律建模的新合成架构来改善多模态模型的合成质量。
PDF17 days ago
大规模语言模型的持续学习：一项综合调研
对大型语言模型在持续学习、预训练、微调以及评估协议方面进行综述.
PDF22 days ago
MiM: 3D 医学图像分析的层叠掩模自监督预训练
提出一种用于 3D 医学图像的新型预训练框架 “Mask in Mask（MiM）”，通过学习来自不同尺度的分层视觉标记的辨别性表示，在器官 / 病变 / 肿瘤分割和疾病分类等任务中展现出 MiM 相对于其他自我监督学习方法的优越性能，此外
PDF23 days ago
延迟瓶颈化：缓解预训练图神经网络中的遗忘
传统的预训练和微调流程中的遗忘现象可能对下游任务产生不利影响，因此我们提出了一种新颖的延迟瓶颈预训练（DBP）框架，通过抑制压缩操作并延迟至微调阶段来尽量保持潜在表示与训练数据之间的互信息，以确保压缩能够由有标签的微调数据和下游任务进行引导
PDF24 days ago
MiniMol：一种用于分子学习的参数高效基础模型
生物学任务中，数据通常很少。该研究提出了一种用于分子学习的基础模型 $ exttt {MiniMol}$，该模型经过预训练，在下游任务中表现出显著改进，具有公开源码。
PDF24 days ago
由 “什么” 和 “在哪里” 基础模型组合预训练的面向目标的机器人表示
通过预训练建立的 POCR 框架在机器人控制中能够提供更好的性能和系统化的泛化能力，而不需要新的训练。
PDFa month ago
从小数据集进行分子属性预测的迁移学习
通过使用小样本数据集进行基于机器学习方法的分子属性预测，研究发现使用消息传递神经网络（PaiNN）以及 SOAP 分子描述符与梯度提升回归树方法相结合的简单分子描述符能够获得最佳预测结果。进一步提出了一种使用大样本数据进行预训练，并在原始数
PDFa month ago
利用命令行语言模型在规模化环境中进行入侵检测
我们介绍了一种基于大规模预训练的入侵检测系统，通过在数千万条命令行上训练大型语言模型来实现基于人工智能的入侵检测，并在 3000 万个训练样本和 1000 万个测试样本上验证了我们解决方案的有效性。
PDFa month ago
当生活给你 LLMs 时，制作 LLM-ADE：具有自适应数据工程的大型语言模型
LLM-ADE 框架是一个新颖的大型语言模型（LLMs）连续预训练方法，解决了灾难性遗忘和双下降的挑战。在特定数据集上，LLM-ADE 采用了动态架构调整的策略，包括选择性冻结和扩展，以增强模型对新数据的适应性，同时保留先前获得的知识。我们
PDFa month ago
观察、分析与解决：通过带掩码图像建模预训练探索强大轻量化视觉 Transformer
通过对轻量级视觉 Transformer（ViTs）的掩码图像建模（MIM）预训练方法与对比学习（CL）预训练方法在不同数据规模下的行为对比研究，观察到了 MIM 预训练在高层学习上的劣质表现以及其对数据不足下游任务的不理想 Fine-tu
PDFa month ago
基于显著性的自适应遮蔽：强化预训练中的令牌动态性重新审视
SBAM 通过优先考虑标记的显著性，引入一种新颖且经济高效的方法，显著增强了基于掩膜图像建模的预训练性能，提供了针对每个数据样本的 ' 量身定制 ' 掩膜比例的自适应策略，并在 ImageNet-1K 数据集上显著提升了基于掩膜的预训练的最
PDFa month ago
有效预训练的蒙版标记的新特性
通过优化蒙面标记以解决自我监督学习中的效率问题，该方法称为蒙面标记优化（MTO），可实现与最新方法相当的预训练性能，减少近 50% 的预训练时期。
PDFa month ago