第 2026-11-14 期 · 行业追踪 · 开源 · 应用

开发者让Qwen3.5-9B在PS4上离线运行

开源项目garlic-llm让Qwen3.5-9B在未改动的PS4 GPU上离线运行,速度31–39 tok/s。借助模型自带MTP头做投机解码,速度从22 tok/s提升;权重重新打包为4位和3位格式,占用约4.5 GiB。

r/LocalLLaMA3 天前
查看原文 ↗