pretraining dataset | BriefGPT

关键词pretraining dataset

搜索结果 - 5

FineWeb 数据集：对网络进行精细分离以获取大规模最佳文本数据
FineWeb 是一个从 96 个 Common Crawl 快照中派生出的 1500 万亿标记数据集，比其他公开预训练数据集产生更好性能的大型语言模型（LLM）。LLMs 在 FineWeb 上预训练表现出更好的知识和推理能力，我们公开释
PDF9 days ago
用较少的令牌预训练小型基础语言模型
我们研究了使用继承和训练的简单方法来构建小型基础语言模型的有效性，并通过实验证明其在各种设置中的功效。
PDF3 months ago
稳定的视频扩散：将潜在视频扩散模型扩展到大型数据集
我们提出了稳定的视频扩散 - 一种用于高分辨率的文本到视频和图像到视频生成的潜在视频扩散模型。
PDF7 months ago
CVPR视频事件关系预测中结构符号表示的辩护
本研究针对视频中事件关系预测的问题，提出了一种结构符号表示 (SSR) 与事件顺序模型 (Event Sequence Model) 相结合的方法，使用外部常识知识库为预训练数据集，从而提升了视频事件关系预测的精度。
PDFa year ago
Vision Transformer 和卷积神经网络的视觉感知相似吗？
研究比较了卷积神经网络和 Vision Transformer 模型在图像分类任务中的内部表示结构，发现两种架构存在显著差异，其中 self-attention 在加快全局信息聚合方面发挥着关键作用。此外，预训练数据集规模会对中间特征和迁移
PDF3 years ago