SemiAnalysis发布GDPx基准测试AI专家级工作表现
SemiAnalysis has released GDPx, a benchmark testing AI agents on expert work acr…
SemiAnalysis has released GDPx, a benchmark testing AI agents on expert work across 11 domains.
SemiAnalysis 发布了 GDPx，这是一个在 11 个领域的专家工作中测试 AI 智能体的基准测试。
The top model, Anthropic’s Claude Opus 5.5, averages just 12%, with Google’s Gemini 4 Carbon next at 10.9%.
表现最好的模型是 Anthropic 的 Claude Opus 5.5，平均分仅为 12%，Google 的 Gemini 4 Carbon 紧随其后，得分为 10.9%。
OpenAI’s GPT-6 Astra tops AI-research and materials-science tasks.
OpenAI 的 GPT-6 Astra 在 AI 研究和材料科学任务中名列前茅。
The tasks, spanning chip design, cybersecurity, finance and law among others, come from 14 specialized data partners.
这些任务涵盖芯片设计、网络安全、金融和法律等领域，由 14 家专业数据合作伙伴提供。
Unlike OpenAI’s GDPval, which feeds models context in the prompt, GDPx makes agents dig through workspaces such as a 3,983-file replica of a real acquisition.
与 OpenAI 的 GDPval 不同，后者将上下文直接放入提示词中喂给模型，GDPx 则要求智能体深入工作区进行探索，例如在一个包含 3,983 个文件的真实收购案例副本中进行操作。
Excluding cyber, biology and alignment, where safety classifiers sometimes intervene, lifts OpenAI’s GPT-6 Astra from 9.6% to 11.8%, past Opus.
排除网络安全、生物学和对齐（alignment）领域——在这些领域中安全分类器有时会介入——OpenAI 的 GPT-6 Astra 的得分从 9.6% 提升至 11.8%，超过了 Opus。
Finance and law defeat every model: all score 0 under pass-fail grading, so GDPx reports partial credit instead.
金融和法律领域难倒了所有模型：在通过/失败（pass-fail）评分标准下，所有模型的得分均为 0，因此 GDPx 改为报告部分得分。
Asked to improve a working trading strategy, models did worse than the original in 70 of 111 attempts, often just taking bigger risks instead of finding better trades.
当被要求改进一个现有的交易策略时，模型在 111 次尝试中有 70 次的表现不如原始策略，往往只是承担了更大的风险，而非找到更好的交易机会。
更进一步：量化金融体系
看懂新闻只是起点——沿量化金融路径，把它变成能交付的工程能力