Jan, 2024
认证神经网络推断的高效数学稳健运算
Efficient and Mathematically Robust Operations for Certified Neural Networks Inference
Fabien Geyer, Johannes Freitag, Tobias Schulz, Sascha Uhrig
TL;DR近年来，机器学习（ML）和神经网络（NNs）在各个领域广泛使用和受到关注，特别是在交通运输领域实现自主性，包括城市空中出租车（UAM）的出现。然而，对认证的担忧已经出现，强调了需要包含整个 ML 和 NN 管道的标准化过程的发展。本文深入研究了推理阶段和所需的硬件，突出了与 IEEE 754 浮点算术相关的挑战，并提出了替代的数字表示方法。通过评估不同的求和和点积算法，我们旨在减轻与非关联性有关的问题。此外，我们对定点算术的探索揭示了它相对于浮点方法的优势，显示出显著的硬件效率。采用经验方法，我们确定了实现可接受的精度所需的最佳位宽，考虑到位宽优化的固有复杂性。