约25行SQL自动推导出FlashAttention内核
一项演示显示,仅用约25行表达标准注意力机制的SQL即可自动推导出FlashAttention内核。这依赖xarray-sql、自动微分扩展ddx和查询规划器einfold三项SQL扩展,作者希望用关系代数改进加速器编程。
AI 日报收录的 einfold 相关报道,共 1 篇,按时间倒序,每小时更新。
一项演示显示,仅用约25行表达标准注意力机制的SQL即可自动推导出FlashAttention内核。这依赖xarray-sql、自动微分扩展ddx和查询规划器einfold三项SQL扩展,作者希望用关系代数改进加速器编程。