data curation | BriefGPT - AI 论文速递

关键词data curation

搜索结果 - 30

FineWeb 数据集：对网络进行精细分离以获取大规模最佳文本数据
FineWeb 是一个从 96 个 Common Crawl 快照中派生出的 1500 万亿标记数据集，比其他公开预训练数据集产生更好性能的大型语言模型（LLM）。LLMs 在 FineWeb 上预训练表现出更好的知识和推理能力，我们公开释
PDF7 days ago
通过联合示例选择进一步加速多模态学习
数据策展是大规模预训练的重要组成部分。本文中，我们证明了联合选择数据批次比独立选择示例更有效，并且多模态对比目标揭示了数据之间的依赖关系，从而自然地产生衡量批次联合可学习性的标准。我们推导出一种简单易行的选择这类批次的算法，通过它可以明显提
PDF7 days ago
大语言模型时代的数据中心化人工智能
本篇论文提出了以数据为中心的人工智能研究视角，着重于大型语言模型。我们首先观察到在 LLM 的发展阶段（如预训练和微调）和推理阶段（如上下文学习）中，数据起着重要作用，但却在研究社区中受到了不对称的关注。我们确定了四个以数据为中心的具体情景
PDF12 days ago
Real3D：用真实世界图像扩展大型重建模型
该研究介绍了 Real3D，使用单视图真实世界图像训练的第一个大型重建模型系统，通过引入自主训练框架和无监督的损失函数，同时利用现有的合成数据和多样化的单视图真实图像，提高了性能和扩大了图像数据的规模，实验结果表明 Real3D 在不同的评
PDF20 days ago
fastMRI 乳腺：一份公开的乳腺动态增强磁共振成像的径向 k 空间数据集
这项数据整理工作介绍了诊断性乳腺 MRI 检查中获得的首个大规模径向 k - 空间和 DICOM 数据的乳腺 DCE-MRI 数据集。我们的数据集包括指示患者年龄、更年期状态、病变状态（阴性、良性和恶性）以及每个病例的病变类型的案例级标签。
PDF25 days ago
通过数据整理提高安全对齐的大型语言模型鲁棒性
我们提出了一种数据筛选框架，以增强大语言模型的安全对齐性，通过减少含有有害信息的数据的影响或增加在下游微调期间的越狱难度。在研究中，我们通过预训练或微调采用经过筛选的干净文本对大语言模型进行训练，观察到在安全对齐方面对有害查询的响应性明显改
PDFa month ago
自主驾驶中的高效主动学习：基于车辆动力学的场景表示来进行轨迹预测的无视觉感知
探索在自动驾驶机器学习任务中利用轨迹和动态状态信息进行高效数据筛选的研究，提出了在主动学习框架中的轨迹状态聚类和采样方法，旨在降低注释和数据成本同时保持模型性能。研究通过利用轨迹信息引导数据选择，在训练数据中促进多样性，证明了方法在轨迹预测
PDF2 months ago
MahaSQuAD：马拉地语问答中的语言桥梁
通过使用强大的数据策划方法，我们翻译了英语问答数据集（SQuAD），解决了低资源语言中无高效问答数据集的问题。我们引入了 MahaSQuAD，这是第一个适用于印度马拉地语的完整 SQuAD 数据集，包含 118,516 个训练样本、11,8
PDF2 months ago
CVPR数据筛选的缩放定律 —— 数据审查不能忽视计算特性
通过引入神经缩放定律来解决数据筛选中的质量 - 数量权衡问题，该定律考虑了网络数据的异质性，为各种质量子集的效用进行特征化，并在多个数据集合的组合中估计模型性能，为数据筛选在不同计算预算下实现最佳性能提供了可能。
PDF3 months ago
用于鲁棒语言模型微调的自动数据整理
通过自动数据加工管道 CLEAR (Confidence-based LLM Evaluation And Rectification) 对指令调谐数据集进行自动加工，提高模型性能。
PDF3 months ago
通过验证器进行多步问题求解：基于模型引导的过程监督的实证分析
通过使用训练过的验证器评估推理器生成的中间步骤，过程监督在多步问题解决中展示出了显著的改进。为了避免在验证器训练数据上进行昂贵的人工注释，本文引入了一种新颖的自动化数据整理方法，即模型引导的过程监督（MiPS）。MiPS 通过对推理模型的解
PDF5 months ago
Dolma: 一个包含三万亿标记的开放语料库，用于语言模型预训练研究
释放 Dolma，这是一个由各种网络内容、科学论文、代码、公共领域图书、社交媒体和百科全书材料混合构建的拥有三万亿个标记的英文语料库。我们还开源了数据整理工具包，以便进一步实验和复现我们的工作。报告中描述了 Dolma 的设计原则、构建细节
PDF5 months ago
关于我：使用网页中的自我描述来记录英语预训练数据过滤的效果
大型语言模型的能力来源于它们的预训练数据，而模型开发始于数据筛选。我们的研究基于网络文本，将其连接到社交和地理背景，并创建了一个包含 1030 万个网站创作者自我描述的新数据集，提取了关于他们的兴趣、社交角色和地理隶属的信息。然后，我们进行
PDF6 months ago
Stellar: 人本个性化文本到图像方法的系统评估
我们系统地研究了个性化文本生成图像的问题，提出了填补文献空白的贡献，引入了新的高质量数据集和评估指标，并提出了一个简单高效的基准模型，成为了该领域的最新技术。
PDF7 months ago
大型语言模型作为自动标定器用于基准测试视觉语言模型
通过自动数据整理和评估，利用优秀的语言模型和视觉语言模型衡量对齐 VLMs 与人类智能的能力，我们提出了 Auto-Bench 作为一个灵活、可扩展和全面的评估 benchmark。
PDF7 months ago
Oasis: 大型语言模型预训练的数据筛选和评估系统
数据是构建大规模语言模型的最关键元素之一，我们提出了一个名为 Oasis 的预训练数据整理和评估平台，通过用户友好的交互界面实现数据质量改进和量化评估，平台包括自定义数据整理模块和全面的数据评估模块，还发布了由 Oasis 整理的一个 80
PDF7 months ago
通过模型自我消歧来学习多源数据的多功能医学图像分割
通过利用现有数据的局部或稀疏标注分割标签，我们开发了一种成本效益方法来解决与来自不同来源的数据的标签歧义、模态、数据集和分割标签的不平衡相关的挑战，实验结果表明，我们的方法在腹部器官分割的多模态数据集上表现出卓越的性能，凸显出优化现有标注数
PDF7 months ago
消除 CLIP 数据的神秘
以数据筛选为核心的对比语言 - 图像预训练及元数据筛选的方法 MetaCLIP，在多个标准基准测试中优于 CLIP 以 CommonCrawl 为数据源的结果，MetaCLIP 在零样本 ImageNet 分类中达到 70.8% 的准确率，
PDF9 months ago
Lingua Manga: 基于大型语言模型的数据治理系统
本文介绍了 Lingua Manga 这一使用预训练大型语言模型的通用数据管理系统，该系统提供自动优化并适用于各种技术水平的用户。通过三个应用案例的演示，证明了 Lingua Manga 可以有效地帮助编程高手和低代码用户应对数据管理挑战。
PDFa year ago
使用文本 - 图像生成模型进行图像字幕的数据筛选
通过数据修剪的两种方法改进图像字幕生成，一种假设应该避免一些样本，另一种假设通过替换图像，使用最先进的 Stable Diffusion 模型，这些方法在 BLIP 模型上 MS COCO 和 Flickr30 k 中进行了评估。我们的方法
PDFa year ago