WebGPU

7 篇报道

WebGPU 是浏览器中的图形与计算 API,可让 JavaScript 应用直接调用 GPU 执行并行计算。近期报道集中在用它本地运行 AI 模型:Hugging Face 开源了覆盖 200 多个常见 ML 算子的 WebGPU kernel;Prism ML 的 Ternary Bonsai 2 系列中 2B 版本在浏览器里运行,在 M4 Max 上达到约 500 tok/s;另有开发者在 iPhone 上用 WebGPU 以约 80 tok/s 离线运行 LFM3-Omni-2B,以及浏览器内的 23M 参数扩散模型 Talus 和 MicroLLM Lab 等项目。

相关话题

开发者用本地推理重建Mozilla Orbit

开发者因不满Mozilla Orbit将数据发送至GCP服务器,用一个月时间重建了完全本地化、注重隐私的Apogee扩展。Apogee不发送或存储用户数据,可连接本地Ollama实例,并为Chrome和Firefox分别集成WebGPU与Transformers.js以加快本地响应,支持总结文章、YouTube视频、维基百科及论坛帖子。

Hacker News ·
已经到底了