Falcon Mamba 发布：首个强性能无注意力机制 7B 模型

Technology Innovation Institute 发布 Falcon Mamba，这是首个在 7B 参数规模下无需注意力机制即可达到强性能的模型。该模型基于 Mamba 状态空间模型架构，在推理效率上显著优于传统 Transformer，尤其在长序列任务中表现出色。Falcon Mamba 在多个基准测试中与同尺寸 Transformer 模型（如 Llama 3 8B）竞争，同时具有更低的计算成本和更快的推理速度。模型权重以 Apache 2.0 许可开源，支持商用。