2020智源

Wesley13
• 阅读 299

2020智源

人机对话系统是自然语言理解领域重要的研究方向之一,图灵测试的核心就是人机多轮交互。目前的人机对话系统局限于语音和文本的交互方式,然而近些年随着语音助手、虚拟数字人、智能服务机器人的普及应用,兼备“视听说”的多模态对话系统,已在零售、客服、金融、媒体、教育、旅游等诸多领域变得越来越重要。

为推动跨模态智能对话与人机交互技术发展,智源-京东跨媒体对话智能联合实验室在2018年首届任务导向型对话挑战赛、2019年基于知识增强的任务导向型对话挑战赛的基础上,于2020年再度推出多模态多轮任务导向型对话挑战赛。

2020智源

本次大赛依托京东在电商零售领域真实场景、海量的数据积累和联合实验室的算力平台,希望连接对话系统领域顶尖人才,助力智能对话产学研联合发展,共同引领行业技术发展潮流。

无论你是自然语言理解领域的资深大咖还是未来之星,只要你有兴趣和热情解决人机对话中面临的难题,那么请加入大赛共同研究解决多模态对话问题,开启人机对话多模态的新时代。

1 任务简介

在人机交互系统中,多模态(文字+图片)交互方式使信息分发更加高效,交互方式也更为自然。多模态人机交互需要综合自然语言处理、机器视觉等多项技术才能更加细致地理解用户的意图,从而给出准确而快速的回答。本次比赛聚焦于人机交互中对于多模态输入信息的理解,目的在于研究如何在对话过程中有效融合使用多模态用户问题信息,产生任务导向型对话的文本回答,使对话系统具备多模态语义理解的能力。

大赛要求参赛系统能够根据多模态场景下对话上下文信息C={Q0,A0, Q1, A1, …, Qn-1, An-1}和本轮对话的用户问题Qn,(其中Q或A可以包含多条消息,消息类型可能是纯文字消息或纯图片消息),预测本轮用户所期望的答案,该答案应该是通顺、逻辑一致且含有丰富知识的文本回答。即此次比赛仅关注纯文本形态的应答,上下文信息或用户问题为多模态形式,预测应答为单模态形式。

任务数据集

此次挑战赛将同步发布JDDC Corpus 2.0多模态多轮任务导向型对话数据集,在符合国家信息安全管理制度的情况下,囊括了小家电和服饰两个品类的用户和京东人工客服关于商品选购推荐、商品售后使用等涵盖电商购物场景售前、售中、售后各环节的真实场景多模态对话数据。其中小家电品类,包含对话约13万session,每session平均交互轮次约为7.3轮,共包含约95万轮对话, 其中用户问题涉及约21.5万张图片;服饰品类,包含对话约11.6万session,其中每session平均交互轮次约为7轮,共包含约81万轮对话,其中用户问题涉及约20万张图片。

此外,数据集还提供一个约3万商品的小型商品知识库作为相关商品知识的补充。为方便参赛队伍对于图片信息的利用,我们还提供了约1.7万张的图片分类标注信息。备注:只有报名参赛的队伍才能获得数据集的在线使用权限。

2 评价规则

自动评测:参赛系统答案会和每个人工答案计算BLEU,所有BLEU的均值作为产生答案的评价指标。同时,京东会根据提交系统在后台测试集上的BLEUscore进行排名。

人工评测:竞赛提交通道关闭后,自动评测排名前列的参赛系统进入人工评测进行打分,人工会对参赛系统给出的第n轮回答从流畅性,一致性,知识性,连贯性,成功率等几个维度考核系统的回答质量。最终比赛的排名由人工评测结果决定。

3 赛程安排

2020年5月25日:通过大赛官网开放报名:https://jddc.jd.com/

2020年5月30日:竞赛启动

2020年9月15日:停止模型提交和排行榜排名更新

2020年9月16日:竞赛评审(排行榜最终排名前30支队伍且无任何违规行为的队伍将进入决赛人工评审)

2020年10月31日:竞赛颁奖(第十九届中国计算语言学大会期间邀请优胜队伍分享比赛经验和模型、进行大赛颁奖)

4 奖励设置

一等奖(1名,奖金5万元)

二等奖(2名,每名奖金2万元)

三等奖(3名,每名奖金1万元)

【大赛基线系统】

为促进广大参赛者相互学习交流,本次大赛也将同步发布基于检索方案和基于生成方案的基线比赛系统,相关代码将发布于智源-京东联合开源的项目nlp-baai(https://github.com/jd-aig/nlp_baai),参赛选手可以通过基线系统完成比赛数据预处理和模型训练,熟悉了解多模态对话系统的构建方式。

【大赛算力提供】

本次比赛将提供免费的GPU供比赛队伍使用,资源有限,先到先得。具体相关内容敬请关注官方网站大赛公告相关部分。

【机构简介】

北京智源人工智能研究院(Beijing Academyof Artificial Intelligence,BAAI)是落实“北京智源行动计划”的重要举措,在科技部和北京市委市政府的指导和支持下,由北京市科委和海淀区政府推动成立,是依托北京大学、清华大学、中国科学院等北京人工智能领域优势单位共建的新型研发机构,其愿景目标是按照国家新一代人工智能发展规划总体部署,支持科学家勇闯人工智能科技前沿“无人区”,推动人工智能理论、方法、工具、系统等方面取得变革性、颠覆性突破,引领人工智能学科前沿和技术创新方向,推动北京成为全球人工智能学术思想、基础理论、顶尖人才、企业创新和发展政策的源头,支撑人工智能产业发展,促进人工智能深度应用,改变人类社会生活。

京东AI研究院与智源研究院成立智源-京东跨媒体对话智能实验室,旨在面向人工智能未来发展,围绕重大应用需求,联合各大高校、科研院所、优势企业等机构进行全方位科研合作。其目标是高效整合大学、科研院所、企业的数据、平台、场景等优势资源,形成具有国际领先水平的人工智能研究团队,培育国际顶尖AI人才,推动人工智能产学研协同创新发展,产出系列国际领先水平的突破性成果。将重点组织数据共享,支持算法开源,推动场景开放,实施协同创新。

【联系方式】

添加BAAI-JD小助手为好友(微信扫描下方二维码),根据提示,加入大赛交流微信群,提问与互动。

2020智源

ht点击【阅读】立即报名

2020智源

2020智源

点赞
收藏
评论区
推荐文章
技术小男生 技术小男生
4个月前
linux环境jdk环境变量配置
1:编辑系统配置文件vi/etc/profile2:按字母键i进入编辑模式,在最底部添加内容:JAVAHOME/opt/jdk1.8.0152CLASSPATH.:$JAVAHOME/lib/dt.jar:$JAVAHOME/lib/tools.jarPATH$JAVAHOME/bin:$PATH3:生效配置
blmius blmius
1年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
小森森 小森森
4个月前
校园表白墙微信小程序V1.0 SayLove -基于微信云开发-一键快速搭建,开箱即用
后续会继续更新,敬请期待2.0全新版本欢迎添加左边的微信一起探讨!项目地址:(https://www.aliyun.com/activity/daily/bestoffer?userCodesskuuw5n)\2.Bug修复更新日历2.情侣脸功能大家不要使用了,现在阿里云的接口已经要收费了(土豪请随意),\\和注意
Stella981 Stella981
1年前
KVM调整cpu和内存
一.修改kvm虚拟机的配置1、virsheditcentos7找到“memory”和“vcpu”标签,将<namecentos7</name<uuid2220a6d1a36a4fbb8523e078b3dfe795</uuid
Stella981 Stella981
1年前
ASMSupport教程4.9 生成三元运算符
<p这节我们介绍如何用ASMSupport生成三元运算符(...?...:...)运算符。我们预计生成如下代码:</p<divid"scid:9D7513F9C04C4721824A2B34F0212519:935e30cc33214e0093ba9834f3a4e044"class"wlWriterEditableS
Wesley13 Wesley13
1年前
MySQL查询按照指定规则排序
1.按照指定(单个)字段排序selectfromtable_nameorderiddesc;2.按照指定(多个)字段排序selectfromtable_nameorderiddesc,statusdesc;3.按照指定字段和规则排序selec
Stella981 Stella981
1年前
Android蓝牙连接汽车OBD设备
//设备连接public class BluetoothConnect implements Runnable {    private static final UUID CONNECT_UUID  UUID.fromString("0000110100001000800000805F9B34FB");
Wesley13 Wesley13
1年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
3A网络 3A网络
4个月前
开发一个不需要重写成 Hive QL 的大数据 SQL 引擎
开发一个不需要重写成HiveQL的大数据SQL引擎学习大数据技术的核心原理,掌握一些高效的思考和思维方式,构建自己的技术知识体系。明白了原理,有时甚至不需要学习,顺着原理就可以推导出各种实现细节。各种知识表象看杂乱无章,若只是学习
helloworld_34035044 helloworld_34035044
6个月前
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
3A网络 3A网络
4个月前
理解 virt、res、shr 之间的关系(linux 系统篇)
理解virt、res、shr之间的关系(linux系统篇)前言想必在linux上写过程序的同学都有分析进程占用多少内存的经历,或者被问到这样的问题——你的程序在运行时占用了多少内存(物理内存)?通常我们可以通过t