MI350X

21M模型搭配6.4B查找表媲美114M密集模型，表可驻留SSD

开发者fehcyy发布稀疏记忆LM项目，给21M参数模型配16.8M行查找表（表参数6.4B，每token用33M），在500M Wikipedia词上训练后性能与114M密集模型相当。表可4-bit量化并内存映射到NVMe SSD，在RX 9070上达140 tok/s，仅占0.4GB显存；但读取长提示慢，每缺失行需4KB页面。Triton内核在Radeon、MI350X和H100/H200上运行不变。给预训练模型嫁接表无效。