Jun, 2024
使用 Korch 进行张量程序的最优核编排
Optimal Kernel Orchestration for Tensor Programs with Korch
Muyan Hu, Ashwin Venkatram, Shreyashri Biswas, Balamurugan Marimuthu, Bohan Hou...
TL;DRKorch 是一个张量程序优化器,通过将操作符进行分解,然后利用二进制线性规划求解器优化内核编排,生成可在现代 GPU 平台直接部署的可执行文件,从而在 V100 和 A100 GPU 上比现有的张量程序优化器提高了最多 1.7 倍和 1.6 倍的性能。