阅读：0
听报道
编译：啤酒泡泡、橡树_Hiangsug
一只名叫亚里士多德的人工智能刚刚通过了美国八年级的科学测试，上周，这条新闻占据了美国多家新闻网站的首版。
美国八年级大概相当于国内初二，初二小朋友的科学测验有多难呢？
要回答这个问题，我们先来一起看两道美国八年级的科学测试多选题。
1、人体中能够协同完成某一项具体机能的组织被称为：
A.an organ
B.an organism
C.a system
D.a cell
2、以下哪一种变化最有可能导致某一区域的松鼠数量减少？
A.捕食者的数量减少
B.松鼠内部的竞争减少
C.可获取的食物减少
D.森林火灾数量的增加
很显然，这两道题分属两类不同类型。第一题属于知识点题，只要认真背过就能答得上来；第二道则属于逻辑推理题。
多数小朋友可能更愿意回答第二题这种逻辑推断的题目，但对于人工智能来说，情况可能恰恰相反。
人工智能做八年级卷子，选择题正确率超90%
上周三，坐落于西雅图的著名实验室“艾伦人工智能研究所”全新发布了一款名为“亚里士多德（Aristo）“的人工智能系统，它正确地回答了超过90%的八年级的科学测验题，并在十二年级的考试中获得了80%以上的准确率。
这款能够通过测试能力的人工智能表明，研究人员在几个月中便取得了巨大的进展，人工智能系统可以理解语言并能模拟人类的决策逻辑。
Aristo的设定是只用来作答多项选择题。它参加了几场纽约考生的标准考试，只不过艾伦研究所去除了那些包含图片和图表的题目，回答这些问题需要额外的技能——将语言理解和计算机视觉逻辑相结合的能力。
有些测试问题只需要一些信息提取的能力，比如上文中的第一题，这种题目是人工智能擅长的。
然而科学测试不是那种只靠记住规则就能完成的事情，它需要使用逻辑来建立联系。比如第二题，森林火灾数量的增加会直接导致松鼠的死亡，或食物来源的减少使它们无法繁衍。人工智能需要理解这样的逻辑，才能回答正确这道题目。
其实在Aristo成功之前，AI已经挂过无数次科。
2016年，700多名计算机科学家参加了一场设有80,000美金（折合人民币约57万元）的挑战赛，题目是“八年级科学测验”——不过答题人不是这些科学家，而是他们建立的人工智能系统。
结果出乎意料，考生全盘“挂科”，就连最成熟的人工智能系统都无法答对超60%的题目，其语言水平和逻辑水平远远赶不上八年级的学生。
学霸Aristo的背后是Bert
2016年，当AlphaGo击败人类职业围棋选手李世石后，许多人认为人工智能的转折点来临。
然而，华盛顿大学前教授、现任艾伦人工智能研究所的技术总监的Oren Etzioni博士的兴奋之情很快平息了。他说，人工智能并没有它看上去那么先进。他提到了艾伦研究所之前参加的那场比赛，一个八年级的科学测试就难住了人工智能系统。
艾伦研究所迅速改良了之前的工作，着手于打造Aristo，其速度超出了包括Etzioni博士在内的许多专家的预期。
Aristo的应试能力来自于神经网络，近几年以来，世界顶尖的人工智能实验室，如Google，Facebook等企业的实验室都利用神经网络进行自然语言处理（NLP），它可以通过分析人类的文章和书籍来习得语言的复杂变化。
去年年底，谷歌AI团队发布了BERT模型，在机器阅读理解顶级水平测试SQuAD1.1中表现出惊人的成绩：全部两个衡量指标上全面超越人类，并且还在11种不同NLP测试中创出最佳成绩，包括将GLUE基准推至80.4％，MultiNLI准确度达到86.7%等。
BERT的全称是Bidirectional Encoder Representation from Transformers，即双向Transformer的Encoder，模型的主要创新点在于模型的预训练，用Masked LM和Next Sentence Prediction两种方法分别捕捉语句的表述。
Etzioni博士很快就意识到，可以在Bert基础之上建立Aristo系统，他们利用Bert模型对覆盖面极广的问题和答案数据进行训练。
Aristo根据题目的不同类型采用了八种类型的agent来回答问题——包括数据库中查找答案的agent、检查相关概念列表的agent、执行定性推理的agent等。
每个agent都会对多项选择答案产生正确与否的概率，而Aristo会对不同的选项的概率进行加权以选择最可能的一项或多项，该模型通过多轮训练和校准进行优化。
例如，有一个问题是：当块体熔化时，铁块中的铁原子是如何受到影响的？
A.铁原子增加质量。
B.铁原子含有较少的能量。
C.铁原子移动得更频繁。
D.铁原子体积增加。
为了回答这个问题，Aristo先查找出“铁原子随着热量增加而运动加快”的知识，将术语“融化”与“热量”联系起来，将术语“快”与“频繁”联系起来，并将C评定为正确选择。
结合不同的解决问题的方法为Aristo将测试分数从2016年的大约60％提高到今年的91.6％扫清了道路。在12年级考试中，该模型得分率为83.5％。
究竟是学霸还是学渣？能用就好！
部分科学家对Aristo取得的进展并没有抱以太大热情，他们认为机器离完全掌握自然语言还有很长一段路要走，更不用说真正像一个人类学生那样思考了。
“我们不能拿这项技术和真正的学生以及他们的逻辑推理能力相比。”已在微软参与多项类似技术研发的研究员Jingjing Liu讲道。
Liu和她的微软同事曾尝试建立一个可以通过GRE考试的系统——GRE是美国研究生入学的必考测试。
Liu表示，处理语言部分是可行的，但是建立可用于处理数学问题的逻辑推理能力就是另外一回事了。“这实在是一项太有挑战性的工作了。”
但从商业角度来看，从互联网搜索引擎到医院的文档记录系统，Aristo的这一进展将对很多产品和服务产生广泛影响。
根据纽约时报的报道，Etzioni博士表示：“这项技术会带来重要的商业成果。目前我能自信的说，你们将会看到这一进展带来的新一代产品，可能来自创业公司，也可能来自大公司。”
“这项技术仍处于初级阶段，”Fast.ai的技术总监Jeremy Howard说道，“但是其技术的潜能是无限的，我们离充分发掘这项技术的潜能还很遥远。”
OMT，Aristo也是艾伦研究所创始人的遗愿
艾伦研究所命名自微软的联合创始人保罗•艾伦(Paul Allen)，他在2013年成立了艾伦人工智能研究所，希望能够着手解决人工智能发展的重大问题。
把“八年级科学测验”作为题目的人工智能科学挑战赛，其实源自于这位西雅图亿万富翁的一个私心：他希望研究人员设计出一个足够聪明、能够通过八年级科学考试的人工智能程序。
自创立后，艾伦研究所的研究人员便一直致力于建造这只聪明的人工智能程序——Aristo。
这不是一件容易的事，五年来研究者们尝试了无数次，但是一直没有达到艾伦希望的效果。
然而去年10月份，还没有来得及见证Aristo的诞生，享年65岁的艾伦去世了。
在不同的电子邮件中，Aristo的作者Etzioni和Clark都对保罗·艾伦表示了敬意。当被问到这样的系统艾伦是否就可以满意的时候，两人都表示：“不会。”
“保罗会非常高兴，但不会让我们满足于现有的荣誉，”Etzioni说， “他会问:NLP的下一个重要阶段是什么?”
“我可以想象他会说‘恭喜你！但下一步是什么?”
相关报道：
https://www.nytimes.com/2019/09/04/technology/artificial-intelligence-aristo-passed-test.html
https://www.geekwire.com/2019/allen-institutes-aristo-ai-program-finally-passes-8th-grade-science-test/
话题：
0
推荐
财新博客版权声明：财新博客所发布文章及图片之版权属博主本人及/或相关权利人所有，未经博主及/或相关权利人单独授权，任何网站、平面媒体不得予以转载。财新网对相关媒体的网站信息内容转载授权并不包括财新博客的文章及图片。博客文章均为作者个人观点，不代表财新网的立场和观点。
京公网安备 11010502034662号 