Zyphra提出分层树结构实现次二次注意力机制

Zyphra 是一家很棒的实验室。 通过分层树实现真正的次二次注意力机制。显然说得通，我们早已朝这个方向迈进，但——这是原则性强、效果显著的方法。我希望看到大量关于此的讨论。如果属实，这将让那些秘密搞“次二次”计算的实验室相形见绌。