airllm 是一个开源库，目标是在单张 4GB GPU 上运行大语言模型推理。近期它在 GitHub Trending 上受到关注，条目显示其支持 70B 模型的单卡 4GB 推理，并已扩展到 2.8T LLM 的推理场景。
单块4GB GPU即可推理2.8T大模型。
让 70B 大模型仅用单张 4GB 显卡即可推理。
单张4GB GPU即可推理70B大模型的开源库
A.I. 日报
airllm