ALHR

新型O(NlogN)注意力系统可保留97%长上下文精度

开发者提出ALHR——一种基于静态二叉树和可学习分层路由的注意力机制，通过可学习函数减少所使用的键数量，从而降低内存占用并改善显存随token增长的扩展性，在MQAR长上下文任务上保留了97%的准确率。