四项独立 AI 基准测试,微软成绩出众

编辑:kunyi 阅读:12 时间:2018-09-27 14:47:05

        虽然没有像谷歌的 AlphaGo 那样大出风头,但这并不代表微软在人工智能(AI)方面的技术实力逊于前者。在近日的一篇博客文章中,微软开发者平台副总裁 Steve Guggenheimer 对微软在 AI 领域取得的成就大肆吹嘘了一番。其声称微软是四项独立 AI 基准测试的佼佼者、解决方案非常适用于解决复杂的商业智能挑战。

 

WikiSQL_20180926-1024x586.png



● 首先,微软在Salesforce WikiSQL 挑战赛中名列前茅;
 

● 其次,该公司在 AI 推理挑战赛(ARC)上排名第一;
 

● 然后,微软搞定了斯坦福问题解答数据集(AQuAD 1.1);
 

● 并且,其在斯坦福 SQuAD 2.0 阅读理解测验上霸榜。


 



(1)SQuAD 测试要求 AI 阅读文档并回答相关问题,在这台机器阅读理解(MRC)测试中,微软 AI 的表现已于人类不相上下。
 

(2)2018 年 6 月,SQuAD 2.0 版本发布,旨在“鼓励开发阅读理解系统,了解其不知道的内容”。目前微软在这项 AI 测试中排名第一,并在前五榜单中占据了三席(同时保持 SQuAD 1.1 的霸主地位)。
 

(3)Salesforce WikiSQL 挑战赛使用基于维基百科的大型众包数据集,需要 AI 回答数据集中的自然语言问题。这项测试本由 Salesforce 领衔,但微软凭借一种名为 IncSQL 的新方法,于本月将前者挤了下去。

 



(4)Allen Institute AI 阅读挑战赛(ARC)提供了 7787 个从小学到高校水平的问题,以及多选择开放式领域的问题数据集。
 

微软 Dynamics 365+ AI 研究团队和圣迭戈大学实习生共同开发的“基本术语识别 - 检索读取器”拿到了第一名。
 

列位第三的,是由中山大学研究人员和微软亚洲研究院组成的独立研究团队。