Jun, 2018

DAWNBench 分析：一个时间准确率机器学习性能基准

PDF
TL;DR一篇关于深度学习优化和基准测试的研究，通过 DAWNBench 提供的数据分析了不同优化方法对最终模型准确性和训练时间的牺牲情况，发现 TT​A 在评价深度学习训练效果时的可靠性较高，同时发现在进行优化训练时还需更充分地利用硬件性能和降低通信时间开销。
发现论文，激发创造
  • 关于测试时适应性的陷阱

    本文提出了针对测试时间适应（TTA）的测试基准 TTAB，通过实验表明：在线批次依赖性使得选择适当的超参数尤其是选择模型极为困难，TTA 的有效性取决于模型的质量和属性，并且即使在最优算法条件下，现有方法也无法处理所有常见类型的分布转移，因此需要在更广泛的模型和转移集上进行严格评估和重新审视 TTA 的实证成功条件。

    Jun, 2023

  • 图像分类中针对分布偏移的实时适应性评估

    通过建立一个基准测试来评估和比较测试时间调整方法在提高模型稳健性和泛化性能方面的有效性，我们提供了一个可靠的评估方式，并探索了不同测试时间调整方法与不同网络骨干的兼容性。

    Jul, 2023

  • 利用测试时间增强和一致性评估进行异常检测

    本文提出一种针对神经网络对未知数据的检测算法，名为 TTA-AD，借鉴了一种新的观察方法，实验证明 TTA-AD 在不同高效图像基准数据集下，运行时间比现有基于分类器的算法下降了 60%~90% 且具有可比较或更好的检测性能。

    Jun, 2022

  • 深度神经网络训练的基准测试和分析

    通过提出一个新的 deep neural networks 训练基准 (TBD)，并在三个主要的深度学习框架 (TensorFlow、MXNet、CNTK) 上进行广泛的性能分析，本文为 DNN 训练提供了一套新的分析工具集以及对未来研究和优化的建议。

    Mar, 2018

  • 神经网络训练算法基准测试

    本文提出了一个新的竞争性算法基准测试，AlgoPerf：训练算法基准测试，在多个工作负载上运行固定的硬件，解决了评估训练算法改进的三个基本挑战，包括如何确定训练何时结束和精确测量训练时间，如何处理测量对确切工作负载细节的敏感性，以及如何公平比较需要超参数调整的算法。在本基准测试中，评估了基线结果和各种优化器构建的基线提交，最终证明了新基准测试的可行性。

    Jun, 2023

  • 分布偏移下测试时间适应的综合调查

    本次研究调查了测试时间适应（TTA）在机器学习中的应用与优化方法。针对不同的学习场景，研究紧分测试时间领域适应、测试时间批适应、在线测试时间适应和测试时间先验适应四类，总结了高级算法的分类方法，探讨了 TTA 的应用与未来研究的挑战。

    Mar, 2023

  • 盲目图像质量评估的测试时间适应

    通过引入组对比损失和相对排序损失，使用测试分布中的少量图像批次可以显著提高模型性能，使盲目图像质量评估模型具备质量感知能力并适应目标数据。

    Jul, 2023

  • 全面测试时间适应的汇编技巧

    全面测试时间适应 (TTA) 旨在使模型适应数据漂移，最近引起了广泛的兴趣。我们提供了选择的正交 TTA 技术的分类，并对其对不同情景的影响进行了细致分析。我们揭示了这些技术在准确性、计算能力和模型复杂性之间产生的权衡，并发现了将技术结合起来产生的协同效应，从而取得了新的最先进结果。

    Oct, 2023

  • 理解测试时数据增强

    利用数据增强在测试期间产生平均输出的测试时间增强（TTA）是一种非常强大的启发式算法，本文旨在为 TTA 提供理论保证并澄清其行为。

    Feb, 2024

  • 重访在线评估下的测试时间适应

    该论文提出了一种新颖的在线评估协议，用于对测试时间自适应（TTA）方法进行评估，通过为较慢的方法提供更少的自适应样本来惩罚它们。我们将该协议应用于多个数据集和场景中，评估了几种 TTA 方法，并表明当考虑推理速度时，简单快速的方法可以胜过更复杂但较慢的方法。

    Apr, 2023