MiniMax (official) @MiniMax_AI

MiniMax M3.1 Flash，现在能跑在你更多的硬件上了。 对一个 428B 模型进行量化，开辟了更多在本地运行它的方式。更低比特的权重减少了加载模型所需的内存，以及解码过程中搬运的权重数据。要让这些节省真正有用，需要仔细的校准、高效的低比特内核，以及在 GPU 和系统内存之间对专家进行硬件感知的放置。 感谢做这项工作的开发者们： • @UnslothAI @danielhanchen —— 2-bit 动态 GGUF 权重，143.9 GB，并在编码、工具调用及其他工作负载上进行了校准和保真度测试。 • @ViC305 —— SAGE-EXL3，token 级保真度测量以及单台 DGX Spark 的配方。 • @PeasantSmith —— Project Maya 量化以及为本地编码和工具调用做的专家卸载。 • @MiaAI_lab —— EXL3-EAQ 量化工作。 • @jundotkim + mlx-community —— oQ 量化以及通过 oMLX 在 Apple Silicon 上由 DSpark 驱动的解码。 • @AIatAMD —— 为 AMD Instinct 适配的 Quark MXFP4。 • @atomic_chat_hq —— 用于本地桌面工作流的 GGUF。 • @superalesha —— 结合量化权重、专家缓存和系统内存的定制推理工作，运行在 4 块 RTX 3090 上。 每一个分享的量化、内核、测量和配方，都为下一位开发者提供了更好的起点……