Kapitsa 0.2.26发布:在Apple Silicon上基准测试多个模型
开源推理引擎Kapitsa发布0.2.26版本,针对Apple Silicon优化,使用定制Metal内核。在M5 Max上,Qwen3.6 35B-A3B解码速度达346 tok/s,预填充6036 tok/s;Flash-Next 180B通过SSD卸载可在48GB MacBook Pro上以61 tok/s运行。
AI 日报收录的 Clover 相关报道,共 1 篇,按时间倒序,每小时更新。
开源推理引擎Kapitsa发布0.2.26版本,针对Apple Silicon优化,使用定制Metal内核。在M5 Max上,Qwen3.6 35B-A3B解码速度达346 tok/s,预填充6036 tok/s;Flash-Next 180B通过SSD卸载可在48GB MacBook Pro上以61 tok/s运行。