Tether发布0.8B端侧智能体模型BotPsy
Tether AI Research推出基于Qwen3.5-0.8B的0.8B参数模型BotPsy,专注函数调用与智能体工作流,可端侧部署。官方称其在同类规模中工具使用表现领先,超过所测全部1.2B以下模型,适用于中低难度任务并保障数据隐私,但不适合高风险场景。
Qwen3.5-0.8B 是阿里 Qwen 系列中参数规模为 0.8B 的小型语言模型。近期相关讨论集中在权重层面的改造:有社区帖子称 MIT CSAIL 通过 GPT-6 Astra 改写约 0.016% 的权重,修正其重复“Wait”的推理循环,使 MATH-500 成绩从 7.9% 升至 48.1% 并公开 diff;另有开发者将 Qwen3.8 Flash-Next 的 PLE n-gram 记忆迁移进该模型,验证集困惑度由 18.2759 降至 17.3534。
Tether AI Research推出基于Qwen3.5-0.8B的0.8B参数模型BotPsy,专注函数调用与智能体工作流,可端侧部署。官方称其在同类规模中工具使用表现领先,超过所测全部1.2B以下模型,适用于中低难度任务并保障数据隐私,但不适合高风险场景。
一名用户仿照MIT CSAIL的权重空间编程方法,让Claude Opus 5.5在无训练情况下改写Gemma 4 12B的8个MLP神经元,仅改动约9.2万参数,用于在特定语境下选择意大利语未完成过去时。
有社区帖子称,MIT CSAIL用GPT-6 Astra仅修改Qwen3.5-0.8B约0.016%的权重,将其MATH-500得分从7.9%提升至48.1%,并公开了权重差异。发帖者用Anthropic的Jacobian透镜分析发现,模型重复“Wait”时会读出“Wrong”等信号,打补丁后则变为“Verification”等词。
一项研究提出“权重空间编程”:GPT-6 Astra仅通过查看原始权重即可判断网络训练目标,并在无环境反馈下从零写出小型游戏网络,其表现超过PPO训练1亿步的模型。Astra还定位Qwen3.5-0.8B导致推理循环的权重问题,仅修改0.016%权重,将MATH-500从7.9%提升至48.1%,IFEval提升3倍。
开发者fehcyy发布稀疏记忆LM项目,给21M参数模型配16.8M行查找表(表参数6.4B,每token用33M),在500M Wikipedia词上训练后性能与114M密集模型相当。表可4-bit量化并内存映射到NVMe SSD,在RX 9070上达140 tok/s,仅占0.4GB显存;但读取长提示慢,每缺失行需4KB页面。Triton内核在Radeon、MI350X和H100/H200上运行不变。给预训练模型嫁接表无效。
开发者将Qwen3.8 Flash-Next的预训练PLE n-gram记忆迁移到Qwen3.5-0.8B,在冻结骨干和约51B参数记忆的情况下训练R=1读取器,验证困惑度从18.2759降至17.3534,降低5.05%。这是语言模型验证结果,不代表基准准确率提升5%。