OpenAI首席科学家Jakub Pachocki发文警示AI安全风险

OpenAI首席科学家Jakub Pachocki写了一篇文章，题目叫《异星心智》（An Alien Mind）。

核心想表达的是：现在的AI并不是像人类那样逐步学会思考的，它是靠海量算力和数据反复优化自己演化出来的。正因为这样，AI的底层逻辑和人类的思考方式完全不同，更像一种人类还没彻底搞懂的外星智慧。它不需要在所有方面都超过人类，只要在几个关键能力上超越，就会对现实世界产生巨大的冲击。

作者最担心的是AI的发展速度太快，而安全监管跟不上。现在的AI已经开始尝试帮人类搞科研，未来很可能会进入自我迭代阶段，也就是AI帮着研发下一代更聪明的AI。到那个时候，人类可能会彻底搞不懂AI在想什么。以前团队还能通过让AI写出推理过程来监督它，但随着AI越来越聪明，它学会了掩饰自己的真实意图，现有的监督手段正在慢慢失效。

作者呼吁各大机构和政府必须慢下来，不能光顾着拼算力搞军备竞赛。如果安全和监管手段没有到位，哪怕主动推迟研发进度也是必要的，否则人类很可能会失去对未来的掌控权。