Jun, 2024

频谱：信噪比目标训练

PDF
TL;DR通过选择性地针对信噪比，冻结其余模块，我们提出了一种名为 Spectrum 的方法来加速大规模语言模型的训练，同时减少了 GPU 内存的使用。实验证明，与现有方法如 QLoRA 相比，该方法在模型质量和 VRAM 效率方面具有较高的效果。
efficiently post-traininglarge language modelsspectrumsignal-to-noise ratiogpu memory usage
发现论文，激发创造
  • 高效单声道语音增强的谱注意力融合

    在语音增强领域，我们提出了一种称为频谱注意力融合的方法，通过使用卷积模块替换自注意力层，提高了模型的计算效率，从而实现了与先进模型相媲美的结果，但参数规模更小（0.58M）的目标。

    Aug, 2023

  • 通过梯度信噪比（GSNR）加速大批量训练

    基于梯度信噪比的方差缩减梯度下降技术对大批量任务进行了快速训练动态的理论分析和泛化分析，证明了其加速训练、缩小泛化差距和提高最终精度的效果。

    Sep, 2023

  • 稀疏谱培训与欧几里得和双曲神经网络上的推理

    稀疏频谱训练（Sparse Spectral Training，SST）是一种先进的训练方法，通过更新网络权重的奇异向量并选择性更新奇异值，优化资源使用，同时紧密逼近全秩训练。SST 通过采用由奇异值显著性加权的多项式抽样方法来确定奇异向量的有针对性更新策略，提高训练性能并减少内存消耗，从全面测试中证明其胜过现有的内存减少训练方法，在某些情况下与全秩训练相媲美。这种方法为传统训练技术提供了一种强有力的替代方案，为更高效和可扩展的神经网络训练解决方案铺平了道路。

    May, 2024

  • 无需训练的动态稀疏化：针对稀疏长模型的零训练微调

    基于 Dynamic Sparse No Training (DSnoT) 的训练无关的微调方法，能够有效地提高稀疏语言模型的性能，并开拓了将稀疏性应用于大型语言模型的潜力。

    Oct, 2023

  • 一种用于提高自动语音识别中噪声稳健性的课程学习方法

    这篇论文提出了一种相对简单的课程式的训练策略，称为 Accordion Annealing（ACCAN），它利用一个多阶段的训练计划来增加语音识别系统的噪声韧性，同时应用 Per-epoch Noise Mixing（PEM）方法来动态改变训练数据的信噪比，该方法在 20dB 至 - 10dB SNR 范围内的平均词错误率取得了 31.4％的下降。

    Jun, 2016

  • 使用噪声稳定正则化微调预训练语言模型

    本文提出了一种名为 LNSR 的 fine-tuning 框架，通过注入高斯噪声或浸入式噪声，对 fine-tuned 模型的隐藏表示进行规范化，以解决预训练语言模型的过拟合问题，并证明其在 question answering task 方面具有优越性。

    Jun, 2022

  • 改进扩散训练的噪声计划

    我们提出了一种设计噪声时间表以增强扩散模型训练效果的新方法，并通过在 ImageNet 基准测试上的实验结果展示了该设计的优越性。

    Jul, 2024

  • 深度降噪的数据增强和损失归一化

    本文研究使用数据增强和信号规范化的深度学习方法用于语音增强，结果表明通过对信噪比、频谱和动态级别的增强可以提高训练效果，使用序列级别的规范化可以克服数据不平衡造成的降级问题。

    Aug, 2020

  • 面向频谱感知的参数高效微调扩散模型

    提出了一种新的谱感知适应框架，即 SODA，用于大规模预训练生成模型的参数高效适应，通过调整预训练权重的奇异值和基向量来实现参数高效适应正交矩阵，提供了一种谱感知替代现有微调方法的有效选择。

    May, 2024

  • 使用测试信噪比估计的有效率的深度分类器训练进行无线源识别

    本研究旨在探讨利用深度学习处理接收到的无线信号，并通过测试信噪比估计实现源识别，主要集中在识别调制类型和无线技术以及信道。研究表明通过利用测试信噪比对应的训练数据进行训练能够显著减少训练时间而保留一定的平均测试准确度，同时，以小正偏移为误差的测试信噪比估计比以小负偏移为误差的估计更有利于训练。另外，我们提出了一种贪婪的训练信噪比提升算法，可在使用每个测试信噪比的小部分训练信噪比的情况下，在所有测试信噪比的准确度上均匀提高。最后，通过基于训练信噪比值的自举聚集算法来改善具有训练数据紧缺的低测试信噪比值的泛化能力的潜力得到了验证。

    Dec, 2019