ModernBERT发布：BERT继任者登场

Hugging Face 联合 Answer.AI、LightOn 等团队发布 ModernBERT，这是对经典 BERT 模型的现代化升级。ModernBERT 采用旋转位置编码（RoPE）、GeGLU 激活函数、交替注意力模式等最新架构改进，支持 8192 token 的上下文长度，并在多个 NLP 基准上超越同等规模的 BERT 和 RoBERTa 模型。模型提供 base（149M）和 large（395M）两种尺寸，采用 Apache 2.0 开源许可。ModernBERT 专为高效推理设计，在 CPU 和 GPU 上均有显著速度提升，适合检索、分类、序列标注等非生成式任务。