用TypeScript从零构建LLM
开发者用TypeScript从第一性原理构建ChatGPT风格模型,以深入理解Transformer。目前已涵盖数据加载器、嵌入和注意力机制等章节。
TypeScript 是由微软开发并开源的编程语言,是 JavaScript 的超集,为 JavaScript 增加了静态类型系统。近期相关讨论集中在用 LLM 和 AI agent 改写 TypeScript 代码库:一位开发者借助 OpenAI 和 Anthropic 模型把 TypeScript 编译器、类型检查器和 LSP 移植到 Rust,API token 花费超过 42 万美元;微软则用 AI agent 将 Copilot 运行时从 TypeScript 移植到 Rust,耗资约 12 万美元。另有人用 TypeScript 从零构建 LLM,以理解 transformer 原理。
开发者用TypeScript从第一性原理构建ChatGPT风格模型,以深入理解Transformer。目前已涵盖数据加载器、嵌入和注意力机制等章节。
一位开发者用OpenAI和Anthropic的模型将TypeScript编译器、检查器和LSP移植到Rust,API代币成本超42万美元;其中Claude Opus 5.5仅10小时就从头做出可用的v0版本。项目宣称已测试项目中100%兼容,但作者称自己从未读过代码,属早期发布。
微软用AI代理将Copilot运行时从TypeScript移植到Rust,耗资约12万美元token及三周开发时间,跨135个版本转换43万行代码为80万行Rust,某基准测试性能提升15.9倍。