跳到主内容
@wquguru
精选88Rachel🥥AI 产品与模型

用 AI Agent Hy4 辅助科研:读论文、查代码与核对实验数据实录

读论文、查代码、核对实验数据,都是费时费力的辛苦活。所以,这次我给自己找了个科研搭子:Hy4。

原文
发到 X
推荐理由

通过具体的 NeurIPS 论文复现案例,详细拆解了 Hy4 在数据配对、异常排查和代码修正中的实际表现,结构清晰且包含可核对的数据细节,是展示 AI Agent 科研能力的优质参考范例。

读论文、查代码、核对实验数据,都是费时费力的辛苦活。所以,这次我给自己找了个科研搭子:Hy4。

Hy4 在 AA 智能指数拿到 35 分,在 Agent Arena排第 19,进入该榜单前 20。AA 提供综合能力的参考,Agent Arena 则更关注真实用户任务中的表现。

对科研人来说,值得期待的是:它能不能把读论文、写代码、核对数据这些工作接起来,帮我们推进一个具体任务?

我选的论文是 NeurIPS 2022 的《Large Language Models are Zero-Shot Reasoners》。这篇论文研究的问题很好理解:在提示词里加一句“Let’s think step by step”,能不能提高模型的答题准确率?

我让 Hy4 对照论文读作者代码,把两组各 600 条实验记录逐题配对,重新计算准确率,检查评分规则,再整理成图表和报告。

论文里的 17.7% → 78.7%,两组数字都对上了。逐条看记录,还发现了几个细节: - 600 条记录只有 580 个不同题面,重复来自原数据集。 - 384 条记录用了思维链后由错变对,也有 18 条反而由对变错。 - 有些最终答案写成英文数词,评分程序只提取阿拉伯数字,因此被判错。

然后,我给它追加了两个任务: 一个是批量处理实验数据。它把作者仓库里 12 个数据集、24 份日志,共 19,412 条记录整理成统一的数据表。这里有跨行题目、混在输出里的问答标记,还有数字、选择题、yes/no 等不同答案规则。都做了分别处理,保留异常记录,并让每条结果都能追溯到原日志。

另一个是诊断错误、改进评分代码。它检查了 MultiArith 思维链组被判错的 128 条记录,Hy4 据此补充答案提取规则,并对两组全部 1,200 条记录重新评分,共有 9 条记录由错判对。其中,思维链组的得分从 78.7% 变成了 80.0%。过程中它也出过错:新规则一度把一条正常答案误判为空,排查后才修正。还有 80 条错误记录,它保留了原文和待人工复核标记。

最后HY4交到我手里的,有数据处理脚本、逐题结果表、错误诊断表、修改后的评分程序,还有图表和中文报告。每条结果都能回头查,想继续分析,也有现成的脚本。

这次用下来,我觉得 Hy4 能帮科研人分担一些具体工作:整理资料、核对数据、写分析代码。手上有论文、有原始记录,也清楚要检查什么,就可以交给它先做一轮,再对着依据检查结果,能省不少时间。

更进一步:量化金融体系

看懂新闻只是起点——沿量化金融路径,把它变成能交付的工程能力

进入量化体系 →

相似阅读

关联信息,但可能不是同一事件