Ziming Mao 和 UCCL 团队提出了 mKernel：一组面向多 GPU、多节点场景的 fused kernels。该技术提出的原因是大模型训练和推理需要让很多张 GPU 在不同机器之间高效交换数据。但随着 GPU 越来越快，CPU 在中间调度通信和计算，反而会让 GPU 等待。mKernel 的思路是把原本分开的计算和通信放到同一个 GPU kernel 里完成，让 GPU 自己更细地安排什么时候传数据、什么时候计算。这样在多机多卡环境下，GPU 可以少等一点，多做一点。详细：uccl-project.github.io/posts/mkernel/AI创造营