LFM3-Omni-2B在iPhone本地以约80 tok/s运行
Reddit用户称通过React Native应用中的自定义WebGPU内核,在iPhone 18 Pro Max上完全离线运行LFM3-Omni-2B,速度约每秒80个token。该演示体现端侧多模态模型的本地推理潜力。
WebGPU 是浏览器中的图形与计算 API,可让 JavaScript 应用调用 GPU 进行本地推理。近期相关报道集中在浏览器端运行模型:Hugging Face 开源了覆盖 200 多个机器学习算子的 WebGPU kernel,并向上游项目提交;Ternary Bonsai 2 的 2B 版本借助自定义 WebGPU kernel 在浏览器中运行,在 M4 Max 上达到约 500 tok/s;另有 LFM3-Omni-2B 在 iPhone 上离线运行、CRAP 微调模型的 WebGPU 演示,以及 Talus 地形扩散模型和 MicroLLM Lab 等浏览器内推理项目。
Reddit用户称通过React Native应用中的自定义WebGPU内核,在iPhone 18 Pro Max上完全离线运行LFM3-Omni-2B,速度约每秒80个token。该演示体现端侧多模态模型的本地推理潜力。
基于Gemma 4 E2B微调的CRAP模型可跳过编译器,直接将提示词转为可运行的Linux x86_64 ELF二进制。v1.1在全新字符串测试中达26/40(v1为8/40),多轮对话10/12(v1为0/12)。演示通过WebGPU在浏览器中加载约3.6GiB的Q6_K量化模型,得分109/144。
Prism ML 在 Hugging Face 发布 Ternary Bonsai 2 系列小模型(2B、4B、9B)。其中 2B 借助自定义 WebGPU 内核可在浏览器内完全本地运行,在 M4 Max 上速度最高约 500 tok/s,并已提供 WebGPU 演示。
Talus是一个2300万参数的扩散模型,基于4.5万张程序生成的地形图训练,可根据地形类型和五个属性生成64x64高度图。模型在真实数据噪声下限基础上评估,并已通过WebGPU在浏览器中运行。
开发者因不满Mozilla Orbit将数据发送至GCP服务器,用一个月时间重建了完全本地化、注重隐私的Apogee扩展。Apogee不发送或存储用户数据,可连接本地Ollama实例,并为Chrome和Firefox分别集成WebGPU与Transformers.js以加快本地响应,支持总结文章、YouTube视频、维基百科及论坛帖子。
Hugging Face开源了超过200个常见机器学习操作的WebGPU内核,可在浏览器本地运行。这些优化正被上游整合到Transformers.js、ONNX Runtime Web、LiteRT.js等项目中。
MicroLLM Lab让用户在浏览器中运行7个小型大语言模型,基于WebGPU和IndexedDB本地运行。页面显示速度和准确率指标,并可生成可验证的性能证书。