HELMET：长上下文语言模型全面评估基准

Hugging Face 博客发布了 HELMET（长上下文语言模型全面评估基准），旨在系统评估大语言模型在处理长序列输入时的能力。该基准覆盖多种任务类型，包括文档问答、摘要、代码理解等，并设计了不同长度区间（如 4K、8K、16K、32K 等）的测试样本。HELMET 通过细粒度指标衡量模型在长上下文场景下的信息检索、推理和生成质量，为开发者提供标准化评估工具。目前基准已开源，支持主流模型如 GPT-4、Claude、Llama 等。