TurboGPT

开源TurboGPT：13秒训练22KiB微型GPT

受minGPT启发的开源项目TurboGPT发布，可用CUDA C++在13秒内训练一个22KiB的字节级微型GPT，采用MIT许可。项目需CUDA 13.4且构建脚本仅支持Windows，在hn1g数据集上训练15亿token后达到2.5295 BPB。