A.I. 日报
TKintegers K5在三元权重推理吞吐上超FP8基线
开发者发布TKintegers，一种平衡三进制权重表示及GPU推理实现。在Qwen2.5-0.5B-Instruct固定负载下，K5在无原生指令的NVIDIA L4上实现预填3402.85 tokens/s、解码26.75 tokens/s，分别为TorchAO FP8基线的3.21倍和3.10倍。作者称FP16对照组快于两者，结果仅限该模型与实现。
AI 日报收录的 Qwen2.5 相关报道，共 1 篇，按时间倒序，每小时更新。
TKintegers K5在三元权重推理吞吐上超FP8基线开发者发布TKintegers，一种平衡三进制权重表示及GPU推理实现。在Qwen2.5-0.5B-Instruct固定负载下，K5在无原生指令的NVIDIA L4上实现预填3402.85 tokens/s、解码26.75 tokens/s，分别为TorchAO FP8基线的3.21倍和3.10倍。作者称FP16对照组快于两者，结果仅限该模型与实现。