Falcon 2 发布：11B 参数多语言与视觉语言模型

Technology Innovation Institute (TII) 发布了 Falcon 2 系列模型，包括 Falcon2-11B 基础模型和 Falcon2-11B-VLM 视觉语言模型。Falcon2-11B 是一个 110 亿参数的多语言因果解码器模型，支持英语、法语、西班牙语、德语、葡萄牙语等语言，在多个基准测试中表现优于同尺寸模型，如 Gemma 7B 和 Llama 3 8B。该模型采用多查询注意力机制，使用 5 万亿 token 训练，并基于 Falcon 2 的 1.5 万亿 token 数据。Falcon2-11B-VLM 则结合了视觉编码器，支持图像理解任务。两个模型均采用 Apache 2.0 许可证开源，可在 Hugging Face 上获取，并支持通过 TII 的 Falcon 2 研究许可证用于商业用途。