侵权投诉
技术:
GPU/CPU 传感器 基础元器件 网络通信 显示 交互技术 电源管理 材料 操作系统 APP 云技术 大数据 人工智能 制造 其它
应用:
可穿戴设备 智能家居 VR/AR 机器人 无人机 手机数码 汽车 平衡车/自行车 医疗健康 运动设备 美颜塑身 早教/玩具 安防监控 智能照明 其它
当前位置:

OFweek智能硬件网

大数据

正文

一年拿10个世界冠军!哈工大讯飞联合实验室刷新SQuAD2.0新纪录

导读: 日前,在新揭晓的SQuAD2.0排行榜上,哈工大讯飞联合实验室团队(HFL)从谷歌(Google AI)、阿里达摩院(Alibaba DAMO)、微软亚洲研究院(Microsoft Research Asia)等业界翘楚中脱颖而出,获得今年的第10个世界冠军。

日前,在新揭晓的SQuAD2.0排行榜上,哈工大讯飞联合实验室团队(HFL)从谷歌(Google AI)、阿里达摩院(Alibaba DAMO)、微软亚洲研究院(Microsoft Research Asia)等业界翘楚中脱颖而出,获得今年的第10个世界冠军。

一年拿10个世界冠军!哈工大讯飞联合实验室刷新SQuAD2.0新纪录

SQuAD2.0最新榜单(截至2018.11.22)

据了解,SQuAD(Stanford Question Answering Dataset)是认知智能行业内公认的机器阅读理解领域的顶级水平测试,通过吸收来自维基百科的大量数据,SQuAD构建了一个包含十多万问题的大规模机器阅读理解数据集,这使得在这个数据集上训练大规模复杂算法成为可能。

本次参测的SQuAD2.0相比此前的SQuAD1.1,在基于篇章片段抽取的阅读理解任务的基础上进一步提高了解答难度,对机器阅读理解模型提出了新的挑战。

其难度主要在于在新版本数据集中加入了“不可回答的问题”,即参赛团队所提交的机器阅读理解模型需要通过阅读篇章和问题,判断所提出的问题是否能够通过篇章内容进行回答,如果可以回答,则根据篇章中的内容作出答案;如果不可回答,则需要对题目进行拒答。

一年拿10个世界冠军!哈工大讯飞联合实验室刷新SQuAD2.0新纪录

在本次提交的系统中,哈工大讯飞联合实验室所提交的模型在EM指标达到82.374,EM(Exact Match,即精准匹配率),预测答案和真实答案完全匹配,即机器给出的答案需要和人一样才算正确)。

F1指标达到85.310,F1(F1-score,模糊匹配率),即将答案短语切成词,与人类答案共同计算回归率和准确性,如果机器模型的答案并没有完全匹配也可以得分,用以表示评测模型的整体性能)上,进一步缩小了机器与人类认知水平在该数据集上的效果差距。

声明: 本文系OFweek根据授权转载自其它媒体或授权刊载,目的在于信息传递,并不代表本站赞同其观点和对其真实性负责,如有新闻稿件和图片作品的内容、版权以及其它问题的,请联系我们。

我来说两句

(共0条评论,0人参与)

请输入评论内容...

请输入评论/评论长度6~500个字

您提交的评论过于频繁,请输入验证码继续

暂无评论

暂无评论

文章纠错
x
*文字标题:
*纠错内容:
联系邮箱:
*验 证 码:

粤公网安备 44030502002758号