第 2026-10-17 期 · 行业追踪 · 开源 · 应用
Qwen3.8-27B以1.5bpw在iPhone 18神经引擎上运行
HN讨论显示,Qwen3.8-27B模型经量化至1.5 bpw后在iPhone 18神经引擎上运行,速度约15–70 tok/s。这体现本地设备端大模型推理的进展,但具体硬件与量化细节仍需核实。
查看原文 ↗话题:Qwen
HN讨论显示,Qwen3.8-27B模型经量化至1.5 bpw后在iPhone 18神经引擎上运行,速度约15–70 tok/s。这体现本地设备端大模型推理的进展,但具体硬件与量化细节仍需核实。
查看原文 ↗