ncnn-MoE-Runtime 周末总结(Codex 帮大忙...)
测试环境
R7 9800X3D / 31.14GiB 内存 / RTX5070Ti 16G
混合推理架构:Vulkan GPU 稠密 + Attention,CPU 执行 MoE Expert
Hybrid Runtime 吞吐 (token/s):
• 20B 32tok:cold 14.10 / warm 14.85
• 20B 256tok:cold 17.07 / warm 16.80
• 120B 32tok 2S:cold 5.28 / warm 10.92
• 120B 256tok 2S:cold 9.87 / warm 10.29
做了一堆的优化工作,看上去还有提升的空间
接下来将接入更多的 MoE 模型!














