最重要的是,与OpenAI凭借"编程技巧"取得数学高分的方法不同,谷歌AI这一次,走的可是"像人一样思考"的路子--
它像一个文科生一样只背书不做题,却掌握了更好的理工科解题技巧。
值得一提的是,论文一作Lewkowycz还分享了一个论文中没写到的亮点:
我们的模型参加了今年的波兰数学高考,成绩比全国平均分还要高。
看到这里,有的家长已经坐不住了。
如果告诉我女儿这件事,我怕她用AI做作业。但如果不告诉她,就没有让她对未来做好准备!
在业内人士看来,只靠语言模型,不对算数、逻辑和代数做硬编码达到这种水平,是这项研究最惊艳的地方。
那么,这是怎么做到的?
AI狂读arXiv上200万篇论文
新模型Minerva,基于Pathway架构下的通用语言模型PaLM改造而来。
分别在80亿、600亿和5400亿参数PaLM模型的基础上做进一步训练。
Minerva做题与Codex的思路完全不同。
Codex的方法是把每道数学题改写成编程题,再靠写代码来解决。
而Minerva则是狂读论文,硬生生按理解自然语言的方式去理解数学符号。
在PaLM的基础上继续训练,新增的数据集有三部分:
主要有arXiv上收集的200万篇学术论文,60GB带LaTeX公式的网页,以及一小部分在PaLM训练阶段就用到过的文本。
通常的NLP数据清洗过程会把符号都删掉只保留纯文字,导致公式不完整,比如爱因斯坦著名的质能方程只剩下了Emc2。
但谷歌这次把公式都保留,和纯文本一样走一遍Transformer的训练程序,让AI像理解语言一样去理解符号。