BigCode 大规模近重复数据去重方法

Hugging Face 博客发布文章，介绍 BigCode 项目在大规模代码数据集上使用的近重复数据去重方法。该方法基于 MinHash 和 LSH 技术，能够高效识别并移除语义相似的重复样本，从而提升训练数据质量。文章详细阐述了去重流程、参数选择及实际效果，并提供了开源实现。该方法对训练大型语言模型（尤其是代码模型）具有重要参考价值。