爱游戏,爱游戏体育,爱游戏平台,爱游戏娱乐,爱游戏官网,爱游戏官方网站,爱游戏豪礼,ayx爱游戏,爱游戏娱乐网,爱游戏app,爱游戏app体育,爱游戏AYX官方网站,爱游戏app官网,爱游戏官方网站

　　在 RTX4090 上，新方法实现了 1.00 倍到 1.51 倍的加速。由于 mma (RTX4090) 和 wgmma (GH200) 指令之间的差异，他们在 template_attention 上实现了更高的加速。在本例中，tt.dot 运算的左操作数在循环外部定义，会重复从同一地址加载数据，因此 ldmatrix 和常规共享内存指令均可实现高吞吐量。虽然右操作数在每次迭代中都会更新，但 wgmma 会直接在共享内存中访问它，只有在 RTX4090 上，经过优化后，它才会被降级到 ldmatrix 中。因此，在 GH200 上实现的加速相对较低。在 MI250 上，新方法实现了 0.98 倍到 1.18 倍的加速。