Hugging Face 发布高效多模态数据管道

Hugging Face 博客宣布推出高效多模态数据管道（MMDP），旨在简化大规模多模态数据的处理流程。该管道支持图像、文本、音频等多种模态数据的加载、预处理和批处理，并针对分布式训练场景进行了优化。MMDP 提供了灵活的配置接口，允许用户自定义数据增强、采样策略和缓存机制，显著提升数据加载效率。博客中展示了在 ImageNet 和 COCO 数据集上的性能对比，显示 MMDP 相比现有方案可减少 30-50% 的数据加载时间。该工具已集成到 Hugging Face Datasets 库中，开发者可通过简单的 API 调用快速上手。