CVPRApr, 2024

数据筛选的缩放定律 —— 数据审查不能忽视计算特性

PDF
TL;DR通过引入神经缩放定律来解决数据筛选中的质量 - 数量权衡问题，该定律考虑了网络数据的异质性，为各种质量子集的效用进行特征化，并在多个数据集合的组合中估计模型性能，为数据筛选在不同计算预算下实现最佳性能提供了可能。
vision-language modelsdata curationneural scaling lawsweb datamodel performance
发现论文，激发创造
  • 缩放定律无法按比例缩放

    随着数据集规模的增大，对大型人工智能模型进行训练的数据中包含的不同社群数量可能增加，而每个社群可能持有不同的价值观，这对于刻度律模型的性能评估可能存在风险。

    Jul, 2023

  • 使用网络数据，仅限于网络数据超越精选语料库的 Falcon LLM 的 RefinedWeb 数据集

    本文表明，即使仅使用经过过滤和去重的网络数据，也可以训练出性能良好的大型语言模型，其训练数据量可以达到万亿级别，不需要过多地依赖于高质量的非网络数据的训练数据集。

    Jun, 2023

  • 密集检索的缩放定律

    文章研究了稠密检索模型的性能是否遵循与其他神经模型相同的缩放定律，并提出使用对比对数似然作为评估指标，并通过大量实验证明，在我们设置下，稠密检索模型的性能遵循与模型大小和注释数量相关的明确的幂律缩放。此外，文章还通过流行的数据增强方法来检验缩放效果，以评估注释质量的影响，并应用缩放定律来找到在预算限制下的最佳资源分配策略，这些研究结果对于理解稠密检索模型的缩放效应并为未来的研究提供有意义的指导具有重要意义。

    Mar, 2024

  • 重新审视语言和视觉中的神经缩放定律

    本篇研究介绍一种更严谨的方法来预测深度学习中的规模效益，提供了一种可靠的方法来估计缩放参数并通过发布基准数据集以帮助该领域的研究。

    Sep, 2022

  • 通过自适应策略加速 Vision Transformer 的训练：导航扩展法则

    最近几年，深度学习领域的最新发展主要由大规模模型主导，这些模型在大量数据上进行了预训练。本文在视觉任务和 Vision Transformers 家族中，通过引导缩放规律，设计出了计算优化的自适应模型，并证明其胜过静态模型。

    Nov, 2023

  • 可再现的对比语言 - 图像学习的比例定律

    本研究探索了对比语言 - 图像预训练（CLIP）的缩放定律，使用了公共数据集和开放源代码来研究缩放规律，并发现训练分布在缩放规律中起关键作用。通过在多个下游任务中评估最大规模的公共 CLIP 模型，我们发现在多个下游任务中，有效训练集大小、模型大小和计算量与性能之间具有幂律缩放关系。

    Dec, 2022

  • 精选 LLM：LLM 与数据整理在超低数据环境中的表格增强的协同效应

    通过结合大型语言模型的强大能力和强大的数据中心方法，利用数据增强方法提高低数据环境中机器学习的性能，从而为数据稀缺的领域和地区扩大机器学习的应用平台。

    Dec, 2023

  • 多样性和质量胜过数量：朝向多功能教学策划

    本文介绍了一种高效且多功能的方法，用于从微调数据集中选择多样且高质量的指令跟踪数据。我们首先通过数据集的增强和扩展增加了更多多样性和高质量的数据，然后依次应用多样性压缩和质量压缩来筛选所需的数据集。实验结果表明，即使只有有限数量的高质量指令数据，LLMs 在自然语言理解任务和代码生成任务中仍能保持稳定的性能，特别是在某些情况下超过了在明显更大的指令数据集上训练的模型。

    Dec, 2023

  • 超越神经网络规模定律：通过数据修剪击败幂律缩放

    通过使用高质量的数据剪枝度量来破解神经网络权重学习数据集大小的幂律估计，可以实现更好的误差缩放。本文进行了实证研究，并测试了十种不同的数据剪枝度量，发现现有的大多数度量在 ImageNet 上表现不佳。作者因此开发了一种新的自监督剪枝度量，具有与最佳监督度量相当的性能。研究表明，发现好的数据剪枝度量可能是深度学习资源消耗大幅降低的一个可行途径。

    Jun, 2022

  • 数据受限的语言模型的扩展

    本研究考察了在数据受限的情况下缩放语言模型的方法以及采用重复数据进行训练的效果，并提出了可衡量计算优化性的缩放规律，并尝试通过增加训练数据或去除常用过滤器等方式缓解数据稀缺问题。

    May, 2023