OpenAI 优化方案可将推理成本减半

深潮 TechFlow 消息，6 月 30 日，据 The Information 报道，一位知情人士透露，本月早些时候，OpenAI 工程师向部分同事表示，依托几项全新研发的优化技术，他们找到了一套方案，能将模型推理成本削减一半以上。工程师将这套新技术应用于没有免费或付费帐户的访客使用 ChatGPT 的场景后，一度把所需英伟达图形处理器（GPU）数量压至仅数百个。