image.png 

(比赛结果,GLUE Benchmark官网截图)

自然语言理解是人工智能的核心技术之一,GLUE Benchmark(通用语言理解评估基准)比赛排名是衡量自然语言理解技术水平的重要指标。比赛设置了自然语言推断、语义相似度、问答匹配、情感分析等9项任务,最后按平均分综合排名。达摩院NLP团队取得了CoLA、MRPC、QQP、WNLI等4个任务的最佳效果,以平均分90.3分位列第一,显著超越人类水平(87.1分)。

早在2018年初,阿里AI就在机器阅读理解顶级赛事SQuAD中打破世界纪录,首次超越人类成绩;在2019年阿里AI也曾登顶GLUE榜单,并于2019年6月在常识QA领域的权威数据集CommonsenseQA中夺冠,还刷新了MS MARCO文本阅读理解挑战赛的纪录,在开放域问答任务上超越人类阅读水平。

image.png 

(达摩院AI团队在自然语言理解相关比赛的历史成绩)

Google于2018年底推出的BERT模型是业界广泛使用的自然语言预训练模型,达摩院NLP团队在BERT的基础上提出优化模型StructBERT,能让机器更好地掌握人类语法,加深对自然语言的理解。

使用StructBERT模型好比给机器内置一个“语法识别器”,使机器在面对语序错乱或不符合语法习惯的词句时,仍能准确理解并给出正确的表达和回应,大大提高机器对词语、句子以及语言整体的理解力。其相关成果论文已被国际人工智能领域顶级会议ICLR-2020收录。

据阿里介绍,这一技术已广泛使用于阿里旗下阿里小蜜、蚂蚁金服、优酷等业务。阿里达摩院的语言模型和阅读理解技术也被用于行业赋能,推进AI技术在医疗、电力、金融等行业的落地。(完)