TKintegers K5在三元权重推理吞吐上超FP8基线

开发者发布TKintegers，一种平衡三进制权重表示及GPU推理实现。在Qwen2.5-0.5B-Instruct固定负载下，K5在无原生指令的NVIDIA L4上实现预填3402.85 tokens/s、解码26.75 tokens/s，分别为TorchAO FP8基线的3.21倍和3.10倍。作者称FP16对照组快于两者，结果仅限该模型与实现。

• 用户1700欧元购入两张RTX 3090，求三卡LLM方案2026-10-31
• 苹果超越英伟达重回全球市值第一2026-10-31
• 英伟达股价大跌，AI成本担忧升温2026-10-30
• 专家辩论：经济是否过度依赖AI？2026-10-30
• 开发者用英伟达Nemotron开源模型打造万圣节鬼屋2026-10-30