RunAnywhere开源AWS Trainium推理引擎TrnRT
RunAnywhere(YC W26)开源了针对AWS Trainium的LLM推理引擎TrnRT。该引擎可在单台trn2.48xlarge上运行两个GLM-5.3 flash实例,在AgentX基准测试中达到每分钟357万tokens的处理能力。团队因AWS现有栈不支持GLM模型而自行开发。
AI 日报收录的 RunAnywhere 相关报道,共 1 篇,按时间倒序,每小时更新。
RunAnywhere(YC W26)开源了针对AWS Trainium的LLM推理引擎TrnRT。该引擎可在单台trn2.48xlarge上运行两个GLM-5.3 flash实例,在AgentX基准测试中达到每分钟357万tokens的处理能力。团队因AWS现有栈不支持GLM模型而自行开发。