Mistral发布Mixtral 8x7B MoE模型

Mistral AI发布了Mixtral 8x7B，这是一个基于混合专家（MoE）架构的稀疏专家模型。该模型拥有46.7B总参数量，但每个token仅激活12.9B参数，推理成本与12.9B模型相当。Mixtral 8x7B在多项基准测试中表现优异，在数学、代码生成和语言理解等任务上超越Llama 2 70B和GPT-3.5。模型采用8个专家网络，每个token由2个专家处理，支持32k上下文窗口。Mistral同时发布了针对指令微调的版本Mixtral 8x7B Instruct，在MT-Bench上达到8.30分。模型以Apache 2.0许可开源，可通过Hugging Face和Mistral的API获取。