LiteLLM

3 篇报道

LiteLLM 是一个轻量级开源 AI 网关,可通过统一接口调用 100 多个 LLM API,并提供成本追踪与防护功能。近期报道集中在安全与生态两方面:10 月 21 日其发布流程被劫持,恶意版本 1.107.0 经 PyPI 和官方 Docker 镜像分发,窃取云凭证和 API 密钥,这是该项目今年第二次供应链被入侵;此外,YC W24 创业公司 Respan 称其 LiteLLM 封装代码超过 10 万行,因升级失败而转向用 Rust 重新设计网关。

相关话题

LiteLLM发布流程遭劫持,分发窃取凭证恶意软件

开源AI网关LiteLLM的发布流程被劫持,攻击者于10月21日通过PyPI及官方Docker镜像分发恶意版本1.107.0,这是该项目今年第二次供应链攻击。恶意包可自动执行,窃取云凭证和API密钥,并含定时拉取指令的远程访问木马;LiteLLM称攻击者利用三个开发者账号的GitHub凭证篡改发布工作流,Python包约两小时后被移除。

CSO Online ·

Respan推出开源Rust AI网关

YC W24公司Respan发布开源Rust AI网关,采用小核心加插件架构,提供商、协议、模态及回退、PII脱敏等功能均为插件。团队称此前基于LiteLLM的封装代码超10万行且升级故障频发,故决定自研重构。

Hacker News ·

litellm

轻量AI网关,用OpenAI格式调用100多个LLM API并跟踪成本。

▲ 95 · GitHub Trending ·
已经到底了