SMP大会技术评测论坛将于9月5日上午10:15至下午15:30举行。本年度共举办了“中文人机对话”、“微博情绪分类”、“裁判文书阅读理解”三个评测单元。我们将邀请获奖队伍进行技术评测报告,欢迎大家关注!
中文人机对话技术评测
组织者
主席:张伟男(哈尔滨工业大学)
副主席:陈志刚(科大讯飞)、车万翔(哈尔滨工业大学)、黄民烈(清华大学)、李林琳(华为公司)
评测委员:朱才海(哈尔滨工业大学)、侯宇泰(哈尔滨工业大学)、茅佳峰(哈尔滨工业大学)、郑楚杰(清华大学)、周昊(清华大学)
任务一:小样本对话语言理解技术评测
本任务着眼于任务型对话系统中对话语言理解任务(SLU,Spoken Language Understanding)的小样本学习问题。对话语言理解是任务型对话系统的关键组成模块,它负责将用户输入的自然语言转化为结构化的语义框架(Semantic Frame),为后续的对话管理模块和回复生成模块提供支持。任务型对话频繁面临新的需求和领域,而SLU模块针对不同领域的标注规范往往差异较大,使得SLU模块经常面临数据不足的严峻考验。本任务既有开拓自然语言下小样本问题的研究意义,同时也兼有切实的实际应用意义。
获奖者名单
奖项 |
队伍名称 |
成员名单 |
一等奖 |
招行AIlab-CC |
⽂俊杰、郑桂东、刘沛奇、段旭欢、刘奕君 |
二等奖 |
上海交通大学SpeechLab |
俞凯、朱苏、陈露、曹瑞升、李杰宇、杨晨宇 |
北京大学 |
邹⽉娴、周培林、侯晓⻰、徐伟元 |
|
三等奖
|
香港中文大學 - 高可信工程實驗室 |
冯沛璋、王鸿儒、刘常健 |
Coca-Dialog |
陈凯、张⼩童、⽜萌、杨鲁锋 |
|
来也科技小组 |
段沛宸、于孟萱 |
|
1STEP.AI |
顾夏辉、李伟、刘威 |
任务二:知识驱动的多轮对话竞赛
在人机对话系统领域,尽管对话生成的任务得到了广泛的研究,但是对于驱动对话生成的知识的建模却由于缺少数据支持亟待研究。如可以在多轮人机对话中有效的对知识的交互进行建模,则可以极大地提升人机对话系统的逻辑性,信息量,可解释性等智能化程度,从而带来更好的用户体验。本任务在对话场景下,已知对话上下文和所有知识图谱信息,要求生成符合知识图谱信息与上下文逻辑的对话回复。知识图谱由一系列三元组(如<头实体,关系,尾实体>)描述。所生成的对话回复需要足够流畅、与对话上下文语义相关并且符合相关的知识图谱信息。
获奖者名单
奖项 |
队伍名称 |
队员名单 |
一等奖 |
苏州课得乐教育科技有限公司 |
李学辉 |
二等奖
|
网易雷火伏羲实验室 |
王佳瑞、⽑晓曦、张荣升、浦嘉澍 |
苏州大学 |
李军辉、朱杰、刘志东 |
|
三等奖 |
来也科技小组 |
张晓庆、张原 |
中国平安人寿保险公司 |
赵亮尹曦 |
微博情绪分类技术评测
组织者
主席:赵妍妍(哈尔滨工业大学)
副主席:刘益东(微热点大数据研究院)
评测委员:袁明琛(哈尔滨工业大学)、吴方舟(微热点大数据研究院)、王帅(哈尔滨工业大学)
任务描述
本评测任务一共包含两个数据集:第一个为通用微博数据集,其中的微博是随机收集的包含各种话题的微博数据;第二个为疫情微博数据集,其中的微博数据均与本次疫情相关。任务如下:微博情绪分类任务旨在识别微博中蕴含的情绪,输入是一条微博,输出是该微博所蕴含的情绪类别。在本次评测中,需将微博按照其蕴含的情绪分为以下六个类别之一:积极、愤怒、悲伤、恐惧、惊奇和无情绪。本次评测以宏平均F1值作为评测指标,最终,对通用微博测试集的F1值和疫情微博测试集的F1值取平均值,作为最终的评测结果。
获奖者名单
奖项 |
队伍名称 |
单位 |
成员名单 |
一等奖 |
Tencent Oteam |
Tencent |
李煜东,赵哲,周鹏,赵欣,邓浩棠,刘伟杰,朱韬,陈辉,吴伟坚,刘海哮 |
二等奖 |
清博大数据 |
京清博大数据科技有限公司 |
夏茂晋,关宇航,王屹东,马云腾 |
拿第一导师请吃肯德基 |
东南大学 |
曹玖新,沈家赟,赵志翔,陈磊,花璐璐,张辉,殷峥,于凤娇,华敏垚,高庆清,刘伟佳 |
|
三等奖 |
BERT 4EVER |
广东外语外贸大学 |
林楠铠,朱昆睿,刘皓楠,蒋盛益 |
sys1874 |
大连理工大学 |
施云生 |
|
炬火 |
山西大学 |
杨振飞,叶恒,张威,丁家杰,王素格 |
裁判文书互动论点对抽取技术评测
组织者
主席:魏忠钰(复旦大学)
副主席:邹劭坤(北京华宇信息技术有限公司),胡振(中国司法大数据研究院),黄萱菁(复旦大学),赵冬华(复旦大学)
评测委员:袁建(复旦大学),马景磊(中国司法大数据研究院),陈伟(复旦大学),高亦煦(复旦大学),宋鋆(黑龙江大学)
任务描述
本次评测目的旨在自动化抽取出裁判文书中诉辩双方观点陈述中存在互动关系的论点对。具体操作层面上,对于所收集到的互动论点对中每一句诉方论点,我们都会给出四句辩方论述中的无关论点以及一句存在互动关系的辩方论点,共五句选项。参赛者的模型需要对于每一句给出的诉方论点,从五句候选论点中选出一句。最终的评价指标便是统计参赛者模型给出答案的正确率。
获奖者名单
奖项 |
队伍名称 |
单位 |
成员名单 |
一等奖 |
zero_point |
成都数之联科技有限公司 |
邓坤、李鑫、翁洋、赵婧琳、王瑞坤 |
二等奖 |
啊U |
云知声&福州大学 |
魏冬春、叶锴、丘德来、曾祥荣 |
泉水指挥官 |
个人参赛 |
王天祎 |
|
三等奖 |
i |
内蒙古大学、北京睿克邦科技有限公司 |
王磊、崔冬冬 |
跳大蓝猫 |
苏州课得乐教育科技有限公司 |
李学辉 |
|
wf |
成都数之联科技有限公司 |
王枫、任恩芝 |
|
智慧政法 |
吉林大学 |
徐明蔚、刘思铭、郭书宇 、葛岩 、白天 |