AI做题家卷疯了!高数考试正确率81% 竞赛题成绩超过计算机博士(5)

2022-07-01 17:28  量子位

以下哪种是放射性元素?

AI做题家卷疯了!高数考试正确率81% 竞赛题成绩超过计算机博士

以及天文学:为什么地球拥有很强的磁场?

AI做题家卷疯了!高数考试正确率81% 竞赛题成绩超过计算机博士

在机器学习方面,它通过解释"分布外样本检测"的具体含义,从而正确了给出这个名词的另一种说法。

AI做题家卷疯了!高数考试正确率81% 竞赛题成绩超过计算机博士

……

不过,Minerva有时也会犯一些低级错误,比如把等式两边的√给消了。

AI做题家卷疯了!高数考试正确率81% 竞赛题成绩超过计算机博士

除此之外,Minerva会出现的推理过程错误但结果对的"假阳性"情况,比如下面这种,有8%的可能性。

AI做题家卷疯了!高数考试正确率81% 竞赛题成绩超过计算机博士

经过分析之后,团队发现主要的错误形式来自计算错误和推理错误,只有小部分来自题意理解错误和在步骤中使用了错误的事实等其他情况。

其中计算错误可以轻易通过访问外部计算器或Python解释器解决,但其他种类的错误因为神经网络规模太大就不太好调整了。

AI做题家卷疯了!高数考试正确率81% 竞赛题成绩超过计算机博士

今日关注
更多