字节跳动训练10万亿参数AI模型，追赶Anthropic

深潮 TechFlow 消息，8 月 07 日，据英国金融时报，随着中国企业继续缩小与美国顶级人工智能实验室之间的差距，字节跳动正在训练一款 AI 模型，其规模可能接近 Anthropic 最先进的 Mythos 系统。据三名知情人士透露，这家中国科技巨头目前正处于训练一款超大规模模型的早期阶段，该模型参数量可能达到 10 万亿级别，是目前中国已发布最大模型月之暗面旗下 Kimi K3 模型的约三倍。

其中一位知情人士表示，字节跳动的模型目前正在进行预训练，这一阶段通常需要三到六个月，如果一切顺利，之后将进行微调并发布。模型的具体规模将在后期确定。Anthropic 并未公开其模型的参数规模，但行业估计显示，其最先进的 Mythos 5 模型参数量约为 8 万亿，Fable 5 约为 5 万亿。

需要注意的是，参数数量决定了模型存储信息的基础容量或记忆上限，但模型实际能力还取决于其他因素，包括数据质量、训练方式等。