行业追踪

147 条

仅显示 2026年9月30日 周三 的内容 · 查看全部日期 →

Rust从零实现非Transformer语言模型PSSA

开发者发布PSSA,一个完全用Rust从零编写的非Transformer语言模型,采用循环状态空间层、情节记忆库并可在运行中改写部分权重。作者称同等参数下学习更快,CPU生成速度约快12倍。

Hacker News ·

白宫会晤AI高管 国会仍回避监管立法

特朗普在白宫会晤黄仁勋、扎克伯格、Dario Amodei、贝索斯等科技高管,众议院议长约翰逊重申不急于监管AI,参议院也未审议民主党支持的监管法案;白宫随后发布由总统与高管签署的《前沿责任联合承诺》,称各公司自行负责安全开发,未来或考虑立法。

Roll Call ·

Raschka长文梳理文本分类模型演进

Sebastian Raschka发表视觉指南文章,梳理从词袋、RNN、CNN、Transformer到Jev式API与校准的文本分类技术演进,认为近期发布的Jev模型本质是分类器,但比通用大模型更快更便宜、比专用分类器更通用,文章不构成产品背书。

Hacker News ·

开源新书《如何让模型变快》发布

作者发布免费开源书籍《How to Make Your Model Fast》,主张减少FLOPs不等于加速,需先判断系统受限于计算、带宽、内存还是系统,内容覆盖roofline分析、内核、编译、量化、剪枝、端侧LLM、机器人、推理服务与智能体。

r/MachineLearning ·

CoWA与MALA注意力机制提速长上下文

作者提出CoWindow Attention(将远端上下文按互补窗口分配到各KV头,无需学习路由器)和MassAlloc Attention(利用softmax统计决定是否执行后续计算)。在8张H100、128K上下文下,注意力算子前向/反向/解码分别最高提速7.4x/8.6x/3.0x,14B模型32K训练FLOPs减少28.5%和23.1%,能力与FullAttn相当。

r/MachineLearning ·
已经到底了