开发者让Qwen3.5-9B在PS4上离线运行
开源项目garlic-llm让Qwen3.5-9B在未改动的PS4 GPU上离线运行,速度31–39 tok/s。借助模型自带MTP头做投机解码,速度从22 tok/s提升;权重重新打包为4位和3位格式,占用约4.5 GiB。
AI 日报收录的 garlic-llm 相关报道,共 1 篇,按时间倒序,每小时更新。
开源项目garlic-llm让Qwen3.5-9B在未改动的PS4 GPU上离线运行,速度31–39 tok/s。借助模型自带MTP头做投机解码,速度从22 tok/s提升;权重重新打包为4位和3位格式,占用约4.5 GiB。