DeepMind亲自打脸：AI是个数学渣?

为了挽救在“抛家弃子”边缘疯狂试探的家长们，不少K12教育平台与时俱进，相继将人工智能加入了数学辅导豪华服务套餐。

在各种新闻中，AI数学老师的画风往往是这样的：

羞辱学渣——只用10分钟作答2017高考数学全国II卷，拿下100分(总分150分)， “蒙题”都没这么快;

碾压学霸——在日本的大学入学标准考试、SAT等各国“高考”中拿到了超过平均分的成绩，向状元挺近;

取代人类教师——可以依据人为输入的打分条件，对照答案，在瞬间判断正误。效率比人类判卷老师高出好几个指数级不说，失误率也更低。

想必令不少家长都心动了吧。在这里，我们要扫兴地说出一个真相——即使是目前最先进的人工智能系统，数学水平恐怕连高中生都比不上。

DeepMind亲自打脸：AI是个数学渣?

这年头，靠AI判卷打分已经不是什么新鲜事了，给张标准答案小学生都能干。但靠AI教做数学题，就很有技术含量了，考验的则是阅读、推理、计算、逻辑等等综合能力，最起码也得是个“新西方”名师上阵吧。

如果用后者的课时费，请小学生来帮辅导作业，显然大家都会认为是开玩笑。但要是把小学生换成AI，反而令家长们“不明觉厉”喜掏腰包了。

不过，DeepMind的最新研究结果表明，即使是目前最先进的AI系统，做起数学题来连普通高中生都比不过，是不是有点幻灭?

事情是这样的，DeepMind参考英国16岁学龄儿童的数学考试，为AI(深度神经网络)打造了一个包含200万道题目的题库，涵盖了算术、代数、概率、微积分等各种题型，并派出了循环神经网络 (RNN) 和Transformer两位当下性能最先进的模型参与测试。

结果发现，除了四舍五入、加减法、比较大小、数字排序等等简单问题之外，在一些涉及因式分解、混合计算之类的高级题目上，AI的表现都不如人类高中生，连及格线都没达到。

到底咋回事，看看它们是怎么做题的就知道了。

LSTM和Transformer架构都包含一个编码器和解码器。不过在具体运算逻辑上，LSTM会将问题编码为一系列由键和数值代表的具体位置(41+132)，然后解码器将下一个字符预测并映射出来(173)。

由于有注意力机制的参与，LSTM能够预先处理一些逻辑上需要先完成的对象，比如知道在计算8 /(1 + 3)时，应该先算出(1 + 3)，这已经有点接近人类进行运算时的推理步骤了。

Transformer的不同之处在于，它的编码器能够把数学题转换成一个长度相同的序列，然后通过注意力机制与位置完全连接的层嵌入任意数学表达式，然后进行转换。

这样做的好处是，Transformer能够使用相同数量的参数进行更多的计算(改变嵌入函数就可以了)，同时拥有了连续的“内部记忆”，在处理包含多层级、关联性的混合运算时更有优势，能够在更长的序列上给出正确答案。

计算方式搞清楚了，那么两位模型的最终成绩如何呢?

答案是，非常惨。Transformer模型只答对了14/40个问题，也就相当于E级水平。相比之下LSTM的分数就更惨不忍睹了，放在人类学生身上绝对是要被叫家长的节奏。

(图为各个模型处理的参数规模和平均正确率)

AI学数学，到底难在哪儿?

一度在计算能力、决策效率上被AI按在地板上摩擦的人类，总算在数学上挽尊了，DeepMind可算也打脸一次AI了。不过，沾沾自喜不是重点，重点是如果要为AI建立一本数学错题集的话，这次实验究竟有哪些值得被记住和补上的短板：

其一是记性太差。

尽管研究人员引入了LTSM和transformer，这是两个在处理机器翻译等序列问题时表现优异的拳头选手，但依然抵不住数学问题的复杂性和语言多样性的压力。在一些需要中间值计算的模块中，比如因式分解、多项式函数等等，系统在进行“思考”时记忆力明显不够用，符号的迁移性和知识的扩展性也因此大受影响，直接影响了结果的准确性。

比如Transformer在计算单纯的加减法或乘除法时，准确率高达90%，一旦加减乘除混合在一起，它就有点搞不清先后顺序了，正确率就下降到只有50%。这表现连计算器都比不上，说明一旦要拼记性、背函数，机器就比不上人类了。

另外，有算力，没知识。

人类在解决数学问题时，应用到的不只有计算能力，还有各种各样的认知技能。比如理解题干，需要将文字或图标转换为算术运算符;确定解题思路，需要进行推理，从已知的公理中找到最佳策略;具体的运算过程中，必须利用工作记忆来完成运算;保持成绩的稳定性，就需要将已学到的知识和规则迁移到同一类型的问题中去……

显然，神经网络还没有办法在“举一反三”的能力上与人类一较高下，它只能处理一些内部存储的问题，无法超越已有的环境去理解新的东西。具体到各个实验项目中，知识迁移能力越强的模型，在统一数据集上的数学成绩也就越好。

这些短板归根结底，是由数学问题和工程效率的矛盾所导致的。

数学的本质是演绎证明，往往需要架设问题并根据已知抽象出新概念，根据需要提出新的公理体系。这是一个基于推断的极其复杂的“规则游戏”。

而机器的计算模式则是遍历型、经验型的，即通过大规模数据来穷尽所有可能。

用DeepMind研究人员的话来说，数学包含了一个“自洽的宇宙”(self-consistent universe)，“简单的AI系统”想要挑战数学命题，显然不太可能。

以“博雷尔-确定性”(Borel-determinacy)为例，虽然只是一个二阶算术命题，但其证明却需要用到无穷阶的算术。想要解决此类问题，就必须把AI系统设计得足够宽泛，以至于能包容绝大部分数学运算。这时的规则量级与复杂性，就不是围棋这种程度可比的了，而可能是在1T个2^中寻找一个最优决策。这时候AI的对手就不是数学，而是资源、金钱与时间了。

AI解题：到底应该怀抱怎样的理想期待

说了这么多，用数学水平作为AI的“智商鉴定器”显然有失偏颇，AI也不可能帮助人类解决那些数学领域的未解之谜。既然如此，让AI学数学的意义到底是什么?或许我们必须重新理解二者的关系。

从当前背景来看，提高AI的数学能力大概有两方面的积极作用：

一个是技术层面的，人工智能本质上就是一个将数学、算法和工程实践紧密结合的领域，对数学的探索有利于推动AI技术的全面进步。

举个例子，早在1964年，就有科学家试图让计算机做数学题了，当时提出的STUDENT(Bobrow 1964)系统，就是输入一段规定好描述方式的数学题，然后把自然语言(linguistic form)通过模式匹配映射到对应的函数关系表达。就像把“笼子里有一只鸡和一只兔，问笼子里一共有几只动物”转换成“1+1=?”。这说明，数学要取得好成绩，先得自然语言阅读理解能力过关。

举个例子，就因为没有办法将复杂的题目转换成规范化的数学语言，国立情报学研究所不得不在2016年放弃让人工智能系统Torobo-kun参加东京大学入学考试，2017年中国的“高考机器人” (863计划中的类人智能项目)在对战真人(43名高三文科班学生)时，也以低于人类平均分的成绩落败。

除了文字题干之外，有的题目还会涉及语音识别、图像识别(看图解题)等技术能力。换句话说，想要搞定数学题，语文课、逻辑课，一科都不能偏!