Mistral发布Mixtral 8x22B：更便宜更好更快更强

Mistral AI 发布了 Mixtral 8x22B 模型，这是其 Mixtral 8x7B 的升级版本。该模型采用稀疏混合专家架构，拥有 141B 参数，但每个 token 仅激活 39B 参数，从而在保持高性能的同时降低推理成本。Mixtral 8x22B 在多项基准测试中表现优异，包括 MMLU、HellaSwag 和 HumanEval，性能接近甚至超越 Llama 2 70B 和 GPT-3.5。模型支持多语言，上下文窗口为 32K tokens，并采用 Apache 2.0 许可证开源发布。Mistral 强调其成本效益，称其推理速度更快、价格更低，适合大规模部署。