Hugging Face 数据集流式加载效率提升100倍

Hugging Face 宣布其数据集库的流式加载功能性能大幅提升，速度提高100倍。新版本通过优化数据读取管道、减少内存拷贝和并行处理，显著降低了流式加载的延迟和资源消耗。该改进适用于大规模数据集，用户无需将全部数据加载到内存即可高效训练模型。更新已合并到 datasets 库的主分支，开发者可通过升级库版本直接受益。