SIGIRFeb, 2022

Asyncval：一个工具包，用于在训练期间异步验证密集的检索器检查点

PDF
TL;DR该研究论文介绍 Asyncval 工具，旨在解决验证 DR（密集检索器）检查点的问题，通过在训练期间异步执行验证循环，并提出不同的语料子集采样策略以进一步加快验证过程。
model checkpoint validationdeep learning checkpointsdense retrieversasyncvalcorpus subset sampling
发现论文，激发创造
  • 通过桥接训练 - 推理差距实现密集短语检索

    本研究探讨了如何通过有效验证缩小训练与检索之间的差距并提高稠密检索的性能，在密集短语检索中取得了 2~3 个关键短语检索准确度和 2~4 个段落检索准确度的提升。

    Oct, 2022

  • DataStates-LLM：大型语言模型的惰性异步检查点

    LLMs 在高维度计算机基础设施上进行训练和数据导入，为了解决大规模训练中的意外事件对学习造成的负面影响，研究如何减少 I/O 开销，提出了一种懒惰异步多级方法，通过复制模型数据的内容来降低训练过程中的干扰，实验结果显示其比现有的检查点方法具有高达 48 倍的检查点速度和 2.2 倍的全程训练时间。

    Jun, 2024

  • 用于事实验证的数据高效自回归文档检索

    本文介绍了一种不需要标注的远程监督方法，可用于训练自回归召回器，以在零样本环境中获得竞争性召回率和精确率。此外，通过针对特定任务的监督微调，展示了利用少于 1/4 注释数据的情况下，基于 Wikipedia 的事实验证任务的自回归检索性能可以接近甚至超过全监督。这指出数据有效的自回归检索存在着可行的方向。

    Nov, 2022

  • Colossal-Auto：大规模模型并行化和激活检查点的统一自动化

    提出一种可同时优化分布式执行和渐进式检查点规划的系统，以支持在给定硬件上最小代码更改的情况下对模型进行并行训练，并提供易于使用的符号分析器生成任何 PyTorch 模型的内存和计算统计信息。

    Feb, 2023

  • 从单个训练过程中的检查点集成：集成方法

    本文介绍了一种名为 Checkpoint Ensembles 的技术，它能够在单个训练过程中生成集成模型，使用此技术可以解决神经网络样本数据过小、采样噪声问题导致的训练数据误差。该方法通过检查点 ensemble 的方式融合了 validation set 和 ensemble models，实验证明 Checkpoint Ensembles 的表现优于其他方法。

    Oct, 2017

  • 通用检查点：大规模分布式训练的高效灵活检查点

    分布式训练中现有的检查点方法对于硬件限制来说似乎并不适用，虽然模型并行（即在多个加速器上分割模型状态）是模型扩展的要求。为了解决这个问题，我们提出了一种名为 “通用检查点” 的技术，它在提供高效的检查点创建的同时，使得可以在任意并行策略和硬件配置上恢复训练，从而为大规模训练解锁了前所未有的能力。

    Jun, 2024

  • 动态张量重构

    本文提出一种名为动态张量再制（DTR）的在线算法，可以在有限的内存条件下实现深度学习的模型训练，具有可扩展性和普适性，支持动态模型，并且性能与静态 checkpointing 的最优解相近，实现了 PyTorch 的 DTR 原型。

    Jun, 2020

  • FastPersist：加速深度学习中的模型检查点

    FastPersist 通过结合 NVMe 的优化、有效的写并行化以及与独立的训练计算重叠的检查点创建方式，实现了在持久存储中创建检查点的加速，相比基线方法快速 116 倍，并实现了每次迭代检查点的无可忽略开销。

    Jun, 2024

  • 最新权重平均化技术：缩短 ImageNet 和 BERT 的训练时间，切莫浪费我的时间！

    通过对每个时期末的 k 个最新检查点的权重进行平均，可加速图像和自然语言模型的训练，并减少大量 GPU 时间，从而实现更快的收敛。

    Sep, 2022

  • 基于自然语言逻辑的自回归多跳文档检索方法用于事实核查

    我们提出了一种基于自回归公式的检索和重新排序方法，该方法用自然逻辑为基础，使用证明系统动态终止检索过程，同时使用比竞争系统少 5 到 10 倍的记忆，对 FEVER、HoVer 和 FEVEROUS-S 等数据集具有与当前最先进方法相当的性能。

    Dec, 2022