Qwen3.5-0.8B

6 篇报道

Qwen3.5-0.8B 是阿里 Qwen 系列中参数规模为 0.8B 的小型语言模型。近期相关讨论集中在权重层面的改造:有社区帖子称 MIT CSAIL 通过 GPT-6 Astra 改写约 0.016% 的权重,修正其重复“Wait”的推理循环,使 MATH-500 成绩从 7.9% 升至 48.1% 并公开 diff;另有开发者将 Qwen3.8 Flash-Next 的 PLE n-gram 记忆迁移进该模型,验证集困惑度由 18.2759 降至 17.3534。

相关话题

研究:Astra可直接读写权重提升Qwen数学能力

一项研究提出“权重空间编程”:GPT-6 Astra仅通过查看原始权重即可判断网络训练目标,并在无环境反馈下从零写出小型游戏网络,其表现超过PPO训练1亿步的模型。Astra还定位Qwen3.5-0.8B导致推理循环的权重问题,仅修改0.016%权重,将MATH-500从7.9%提升至48.1%,IFEval提升3倍。

Hacker News ·

21M模型搭配6.4B查找表媲美114M密集模型,表可驻留SSD

开发者fehcyy发布稀疏记忆LM项目,给21M参数模型配16.8M行查找表(表参数6.4B,每token用33M),在500M Wikipedia词上训练后性能与114M密集模型相当。表可4-bit量化并内存映射到NVMe SSD,在RX 9070上达140 tok/s,仅占0.4GB显存;但读取长提示慢,每缺失行需4KB页面。Triton内核在Radeon、MI350X和H100/H200上运行不变。给预训练模型嫁接表无效。

r/LocalLLaMA ·
已经到底了