Sep, 2023

数据过滤网络

PDF
TL;DR通过构建数据过滤网络，该论文研究了大训练集上数据筛选的问题，并基于该网络构建了新的图像 - 文本数据集，为状态 - of-the-art 模型训练提供了高性能数据集，同时还释放了可从公开数据从头训练高性能数据过滤网络的新的 200 亿样本数据集，以促进数据集设计的进一步研究。
large training setsdata filtering networkimage-text datasetsstate-of-the-art modelsdataset design
发现论文，激发创造
  • 高效条件预训练用于迁移学习

    提出了用于计算机视觉任务的预训练神经网络的有效过滤方法，包括图像分辨率下采样和数据子集筛选，验证结果表明这种方法明显降低了训练成本并提高了性能。

    Nov, 2020

  • 使用网络数据，仅限于网络数据超越精选语料库的 Falcon LLM 的 RefinedWeb 数据集

    本文表明，即使仅使用经过过滤和去重的网络数据，也可以训练出性能良好的大型语言模型，其训练数据量可以达到万亿级别，不需要过多地依赖于高质量的非网络数据的训练数据集。

    Jun, 2023

  • 无数据学习的学生网络

    提出基于生成对抗网络（GANs）的深度神经网络的无数据训练方法，将预训练的教师网络视为固定的鉴别器，利用生成器派生的训练样本和教师网络一起训练出模型较小和复杂度较低的有效网络。通过 Data-Free Learning（DAFL）方法学习，使用 ResNet-18 在 CIFAR-10 和 CIFAR-100 数据集上实现了 92.22％ 和 74.47％ 的精度，并在 CelebA 基准测试上获得了 80.56％ 的精度。

    Apr, 2019

  • 细节决定成败：深入探究数据过滤的兔子洞

    本论文介绍了在参加 DataComp 挑战时的学习和解决方案，通过三个阶段的筛选策略与已有方法整合以及提出新的解决方案，如使用水平翻转图像计算 CLIP 分数以减轻场景文字的干扰、利用视觉和语言模型检索目标下游任务的训练样本，重新平衡数据分布以提高计算预算分配效率等，获得了比 DataComp 论文中最佳方法平均性能提高 4% 的成绩，以及在 ImageNet 上提高 2% 以上的成绩。

    Sep, 2023

  • 动态过滤网络

    介绍一种新的动态滤波网络架构，使得学习的滤波器可以根据输入动态生成，具有高度适应性，且不会过多增加模型参数。通过可视化学习到的滤波器，证明该网络可以在无标签数据上学习信息，从而可以用于各种无监督预训练任务，例如光流和深度估计。

    May, 2016

  • DFNets: 具反馈回路滤波器的图卷积神经网络

    提出了一种基于谱卷积神经网络 (CNN) 的新型图结构数据模型，称为分布式反馈环路网络 (DFNets)，它结合使用一类强健的谱图滤波器 (feedback-looped filters) 并具有更好的定位能力，同时获得较快的收敛速度和线性内存需求；实验结果表明，该模型在半监督的文档分类和知识图谱实体分类两个基准任务上都显著优于现有的方法。

    Oct, 2019

  • CNN Filter DB: 训练卷积过滤器的实证研究

    本文研究的是卷积神经网络的权重分布偏移对于预训练模型的稳健性的影响，提出了一个包含超过 14 亿卷积滤波器的数据集，并通过分析数据集展示了现有预训练模型的一些局限性。

    Mar, 2022

  • 快速的端到端可训练引导滤波器

    本文介绍了一种基于改进 FCN 的新型构建块 —— 引导滤波层，以及结合该层的像素级别图像预测框架 DGF，并在该框架上取得了比现有方法具有更快速度和更高性能的结果。

    Mar, 2018

  • 视觉语言预训练的过滤、蒸馏和难负样本

    通过对大规模嘈杂数据进行对比学习训练的视觉 - 语言模型正在变得越来越受欢迎用于零样本识别问题，本文在数据集噪声、模型初始化和训练目标三个方面对对比预训练管道进行了改进。通过 Complexity、Action、and Text-spotting（CAT）筛选策略、概念蒸馏以及重要性采样方法，我们的 DiHT 方法极大地提高了对零样本和几样本线性探测的效果。

    Jan, 2023

  • 数据集量化

    用于训练任何神经网络架构的新的数据集压缩方法 (DQ) 能够通过压缩大规模数据集生成精简小数据集，实现了无损模型训练的最新压缩比，可用于视觉任务和语言任务。

    Aug, 2023