Mixtral MoE模型登陆Hugging Face

Mistral AI 的 Mixtral 8x7B 混合专家模型（MoE）已正式在 Hugging Face 平台上线。该模型采用稀疏 MoE 架构，每个 token 仅激活 2 个专家，总参数量 46.7B，但推理成本与 12.9B 模型相当。在多项基准测试中，Mixtral 表现优于 Llama 2 70B 和 GPT-3.5，尤其在数学和代码任务上。模型以 Apache 2.0 许可证开源，支持商业使用。Hugging Face 提供了模型权重、推理代码和集成指南。