社区讨论无审查与NSFW音频模型的进展
r/LocalLLaMA用户发帖询问无审查、NSFW音频模型的进展,称约一年前有人尝试开发但似乎未继续推进。发帖者质疑是缺乏兴趣还是缺乏资源与知识,同时指出文本类模型版本更新频繁。
Gemma 是 Google 发布的开放权重轻量模型系列,常被用于端侧与本地部署。近期相关报道包括 Google DeepMind 与新加坡 GovTech 基于轻量 Gemma 微调的端侧反诈骗模型,以及开发者在低显存设备上以约 26 tokens/秒运行 Gemma 26B QAT;此外 Ornith-1.5-122B 的早期版本曾在 Qwen3.5 与 Gemma4 基础上构建。
r/LocalLLaMA用户发帖询问无审查、NSFW音频模型的进展,称约一年前有人尝试开发但似乎未继续推进。发帖者质疑是缺乏兴趣还是缺乏资源与知识,同时指出文本类模型版本更新频繁。
Reddit用户预测,谷歌等主要AI实验室将在Qwen 4发布前推出新的本地模型,以便在基准测试上短暂领先。该用户提到此前Gemma 4在Qwen发布前几天推出的情况。
r/LocalLLaMA论坛用户引用一则X平台帖子,引发外界对谷歌Gemma 5系列模型即将发布的猜测,目前尚无官方确认信息。
Opera发布WebAI标准,让用户无需云端即可在浏览器中本地运行AI模型,支持Gemma及苹果端侧模型等开放权重模型。该功能在Opera One中以早期预览形式开放,需用户主动选择启用,之后将扩展至Opera GX和Neon。Opera称此举可提升隐私并免去云端订阅费用。
据Rockbridge Network Korea报告,今年1至8月韩国开发者在Hugging Face发布的1845个模型中,49.3%基于中国基础模型,高于美国的35.9%。Qwen占比最高达46.8%,低成本与开源权重是主因,也引发技术依赖与安全担忧。
一位开发者在Hugging Face发布方案:GPU保留2比特模型做草稿,系统内存保存6至8比特残差供验证,仅激活值经PCIe传输,使草稿不额外占用显存。实测6比特残差质量接近Q8_0,但读取字节少约28%。
VocabX论文预览显示,针对单一领域和输出格式重建Qwen3-4B的词表,可显著降低推理成本。该方法在葡萄牙语作文评分系统上按token成本而非词频设计词表,在不改变基础模型、数据和训练配方的情况下,实测推理成本下降77%,同时减少每次生成需打分的15万余条词表条目。
Ornith AI发布Ornith-1.5-122B,在Qwen3.5和Gemma4基础上扩展自改进循环,联合优化任务生成、脚手架构建和解决方案推演,通过强化学习持续提升策略。模型已在Hugging Face提供GGUF格式。
谷歌DeepMind与新加坡政府科技局合作,基于轻量级Gemma模型微调出端侧诈骗检测模型,可在手机上本地分析对话,无需上传云端,以保护隐私。新加坡诈骗占报告犯罪一半以上,2019年以来损失超40亿新元,其中社会工程类诈骗占损失的80%。
研究者发布U-Space及其U-Lens工具,用单个推理过程的隐藏状态方向乘以平均词元熵,在无需正确性标注、重采样或微调的情况下估计模型置信度,并可区分歧义、信息缺失、证据冲突等不确定类型。在Gemma、Qwen和Magistral三款模型、四个基准的评测中优于多轮采样和有监督基线;唯一依赖是Anthropic的Jacobian lens,已有40多个预拟合版本。
r/LocalLLaMA用户调侃8GB显存加16GB内存的本地部署党每天刷版等待新模型,期待Qwen4 35B A3B等,目前仍靠Gemma 26B QAT,速度约26 token/秒。
Reddit用户呼吁将DeepSeek-V4.1-Flash的KVCache与Engram设计推广到中大规模模型,以在GPU上用Q8或Q4运行30B级模型。帖文列出多款模型的近似显存与Engram占用估算,提出Engram约占模型体积1/3–1/2(30B约10–15GB),并认为32GB显存可满足多数经优化模型。