WebGPU

7 篇报道

WebGPU 是浏览器中的图形与计算 API,可让 JavaScript 应用调用 GPU 进行本地推理。近期相关报道集中在浏览器端运行模型:Hugging Face 开源了覆盖 200 多个机器学习算子的 WebGPU kernel,并向上游项目提交;Ternary Bonsai 2 的 2B 版本借助自定义 WebGPU kernel 在浏览器中运行,在 M4 Max 上达到约 500 tok/s;另有 LFM3-Omni-2B 在 iPhone 上离线运行、CRAP 微调模型的 WebGPU 演示,以及 Talus 地形扩散模型和 MicroLLM Lab 等浏览器内推理项目。

相关话题

开发者用本地推理重建Mozilla Orbit

开发者因不满Mozilla Orbit将数据发送至GCP服务器,用一个月时间重建了完全本地化、注重隐私的Apogee扩展。Apogee不发送或存储用户数据,可连接本地Ollama实例,并为Chrome和Firefox分别集成WebGPU与Transformers.js以加快本地响应,支持总结文章、YouTube视频、维基百科及论坛帖子。

Hacker News ·
已经到底了