

Arithmetic AI Big data
全国大数据与计算智能挑战赛是由大数据与决策(国家级)实验室组织的年度赛事活动,旨在深入挖掘大数据应用实践中亟需破解的能力生成难题,选拔汇聚数据领域优势团队,促进大数据领域的技术创新和面向需求的成果生成,推动形成“集智众筹、联合攻关、共享共用”的研建用一体迭代演进创新模式。
本届大赛以“发榜挑战、集智攻关”为主题,面向全国大数据与计算智能领域的相关单位,将围绕自然语言处理、目标识别、图像检测、隐私计算等前沿技术难点开设赛道,以“揭榜打擂”的形式组织创研竞赛,通过线上打榜与现场评审相结合的方式决出优势团队,进一步创新大数据管理与应用模式,推动大数据与计算智能领域技术发展与生态构建。
本届大赛还与粤港澳大湾区(黄埔)国际算法算例大赛、第三届“金海豚”杯电子水声对抗算法挑战赛等顶级赛事联动,给参赛团队提供了更多的发展机会与资源支持,为大数据与计算智能相关技术的创新发展注入更加强劲的动力。
热烈欢迎全国各工业部门、科研院所、各高校及民营企业的业内优势团队踊跃参赛揭榜!
了解更多赛事信息 2024全国大数据与计算智能挑战赛
• 赛题名称
面向大语言模型的领域知识注入与推理
• 赛题背景
快速辅助决策在很多特定领域的应急处置中有广泛引用(如火灾、地震等)。传统方法依赖规则知识图谱推理方法,虽然在一定程度上保证了决策的逻辑性和可解释性,但也面临着诸多问题,包括误差传播、推理复杂度、以及知识更新的不便捷性。这些问题在快节奏的应急处置中尤为突出,影响了决策的效率和准确性。
随着人工智能技术的发展,大模型的出现为决策和处置提供了全新的思路。在民用领域,比如医学和法律,大模型通过知识注入的方式学习大量的实例数据(如病例、判决书),已经展现出了处理复杂推理任务的潜力。不依赖显式图谱,理解隐含在数据中的规则,从而提供合理的决策、处置方案。
在特定场景中,尽管规则类知识体系较为完备,实例类数据却相对稀缺,难以获得大量的实例数据来完整覆盖所有可能的情况。这种数据的稀缺性直接导致了模型训练的困难,并在处理未见过的新实例时性能受限,难以泛化到未知的、新颖的场景中。
这些挑战要求研究新的方法论和技术,以弥补规则知识与实例数据之间的鸿沟。本赛题旨在探索基于大语言模型知识注入技术,实现特定领域规则知识与实例数据相统一。通过将实例推理结果与规则进行映射,提升军事决策的准确性和效率,增强推理结果的可解释性,将具体的决策过程与背后的规则知识紧密联系起来,进一步提高决策过程的透明度和可靠性。
针对上述挑战和现有方法的不足,本赛题设置基于规则知识的应急处置推理任务,全面考察参赛选手模型的泛化性和可解释性。
• 赛题任务
以规则文本的形式给定1000条应急处置规则知识和对应的实例类数据。其中规则类知识表达精准,实例类数据表达多样,要求大模型能够注入规则类数据后,具有面向下游实例类数据的推理能力。规则类知识格式为{规则ID,规则文本}。参赛者可以选择对中文大模型进行规则知识注入的方法,如LoRA或者RAG。训练完成后,选手需要提交相关的模型文件和结果文件,由主办方进行测试。测试数据为基于规则知识构造的实例问题,需要选手给出答案和做出该处置所参考的规则ID。
本赛题采用的规则知识来源于中国应急处置库中预案文档,经过整理划分得到1000条明确的规则知识。而具体的应急实例问题采用基于隐马尔可夫链约束的受控文本生成方法构造获得,对应于特定的若干条规则知识。
应急处置规则示例:
规则编号 | 规则文本 |
---|---|
1 | 特别重大地震灾害是指造成300人以上死亡(含失踪),或者直接经济损失占地震发生地省(区、市)上年国内生产总值1%以上的地震灾害。 |
2 | 重大地震灾害是指造成50人以上、300人以下死亡(含失踪)或者造成严重经济损失的地震灾害。 |
3 | 较大地震灾害是指造成10人以上、50人以下死亡(含失踪)或者造成较重经济损失的地震灾害。 |
4 | 一般地震灾害是指造成10人以下死亡(含失踪)或者造成一定经济损失的地震灾害。 |
5 | 应对特别重大地震灾害,启动Ⅰ级响应。由灾区所在省级抗震救灾指挥部领导灾区地震应急工作;国务院抗震救灾指挥机构负责统一领导、指挥和协调全国抗震救灾工作。 |
6 | 应对重大地震灾害,启动Ⅱ级响应。由灾区所在省级抗震救灾指挥部领导灾区地震应急工作;国务院抗震救灾指挥部根据情况,组织协调有关部门和单位开展国家地震应急工作。 |
7 | 应对较大地震灾害,启动Ⅲ级响应。在灾区所在省级抗震救灾指挥部的支持下,由灾区所在市级抗震救灾指挥部领导灾区地震应急工作。中国地震局等国家有关部门和单位根据灾区需求,协助做好抗震救灾工作。 |
10 | 应对一般地震灾害,启动Ⅳ级响应。在灾区所在省、市级抗震救灾指挥部的支持下,由灾区所在县级抗震救灾指挥部领导灾区地震应急工作。中国地震局等国家有关部门和单位根据灾区需求,协助做好抗震救灾工作。 |
问题示例:
问题:在地震灾害中,造成了320人死亡并且直接经济损失达到了地震发生地省份上一年国内生产总值的1.2%。根据应急处置规则,下列哪个机构将负责统一领导、指挥和协调全国的抗震救灾工作?
选择:
A. 地震发生地的市级抗震救灾指挥部
B. 地震发生地的省级抗震救灾指挥部
C. 国务院抗震救灾指挥机构
D. 国际红十字会
答案:C
所参考的规则编号为:
答案:1, 5
该赛题采用初赛、复赛、决赛的“三级赛制”,具体赛程安排如下:
2024/10/10-10/30,初赛阶段
2024/10/10,发布大赛赛题,选手可登录大赛官网报名;
2024/10/14,发布初赛赛题数据,选手可登录PC端大赛官网赛题详情页下载数据集,同步开启初赛线上评测。选手可在线提交结果文件至竞赛平台,每日每队最多可提交3次,测评系统将自动评测得分并同步更新至排行榜。排行榜上将记录选手的最高成绩,相关团队必须自行保存最高成绩作品的源代码以备审核;
2024/10/28(12:00),截止报名组队及团队信息修改;
2024/10/30(24:00),截止初赛作品提交,遴选决出前20支团队入围复赛。
2024/11/06-11/10,复赛阶段
2024/11/06-11/10,入围复赛的团队登录PC端大赛官网赛题详情页下载复赛数据集,选手可在线提交结果文件至竞赛平台,每日每队最多可提交3次,测评系统将自动评测得分并同步更新至排行榜。排行榜上将记录选手的最高成绩,相关团队必须自行保存最高成绩作品的源代码以备审核。
2024/11/09-11/19,复现阶段
2024/11/09-11/19,反作弊审核,作品成绩复现,每道赛题遴选决出5支团队入围决赛。
2024/11/28-11/29,决赛阶段(长沙)
2024/11/28-11/29,组织线下专家评审,入围决赛团队现场答辩,公布优胜队伍,并组织颁奖典礼。
备注:
组队及作品提交请在PC端进行操作;
以上赛程安排均为北京时间计算,赛程时间将根据实际情况调整,请及时关注通知。
奖项 | 数量 | 奖项激励 |
---|---|---|
一等奖 | 1支获奖队伍/赛题 | 获奖证书 & 获奖团队所属单位将获得大赛主办单位给予的赛题成果转化研究经费支持 |
二等奖 | 2支获奖队伍/赛题 | 获奖证书 & 获奖团队所属单位将获得大赛主办单位给予的赛题成果转化研究经费支持 |
三等奖 | 2支获奖队伍/赛题 | 获奖证书 & 获奖团队所属单位将获得大赛主办单位给予的赛题成果转化研究经费支持 |
优胜奖 | 若干/赛题 | 各赛题入围复赛(未入围决赛)且在复赛中提交复赛作品并取得有效成绩的团队 |
1.根据线上评测和线下专家评审结果,每道赛题分别设置一等奖1组、二等奖2组、三等奖2组、优胜奖若干;
2.获奖参赛队将获得由大赛主办单位颁发的获奖证书;
3.获得第一、二、三等奖的参赛队所属单位将获得大赛主办单位给予的赛题成果转化研究经费支持,用以支撑参赛队成员进一步深化和完善参赛成果,攻克相关技术难题。
报名组队规则
参赛对象:面向全国各工业部门、科研院所、高校、民营企业。
报名要求:参赛队须以单位名义报名,同一单位可有多支不同的参赛队。参赛选手可报名参加多个赛题,但在同一赛题中仅能报名参加一支团队。报名时所有参赛队成员需提供所在单位信息、个人基本信息,并进行实名认证;参赛选手应当保证各项信息的真实性。学生参赛者报名须指定至少一名所在单位任职的具有中级职称以上相关领域科研工作者作为团队指导教师。大赛组委会承诺其中涉及个人隐私的内容予以保密。
组队要求:所有报名参加同一赛题的参赛者,可在PC端进行组队操作。所有参赛选手应在截止日期前自行完成组队,每队1-5人(含指导教师),不可重复组队。并以团队身份提交各阶段的作品材料,一旦进入团队,不可退出队伍。多个单位的参赛者联合组队时,队长所在单位为该参赛队的第一单位。为保证每支参赛团队享有相对平等的提交机会,各赛题组队需满足组队成员在赛题中的提交总次数≤开赛天数*3次。
队长责任制:各团队队长作为团队的负责人,需自行进行团队内部分工和协调,并承担与大赛组委会对接沟通(包括但不限于晋级入围、团队信息收集、作品审核、线下活动等)的责任。
回避原则:参与大赛出题的人员禁止参与所出具的赛题(可参与其他赛题),禁止委托他人参赛或违规指导参赛团队。
作品要求
作品原创:参赛作品必须保证原创性,不违反任何中华人民共和国有关法律法规,不侵犯任何第三方知识产权或其他权利,一经发现或经权利人提出并查证,大赛组委会将取消其比赛资格和成绩并进行严肃处理。
作品知识产权:未获奖参赛作品(包含但不限于算法、模型、方案等)知识产权归出题单位、参赛者单位共享;获奖参赛作品(包含但不限于算法、模型、方案等)知识产权归属以定向项目研究资助协议约定为准;大赛组织单位拥有对参赛作品组织投资对接和产品孵化服务的优先权利;大赛组织方有权利将参赛作品、比赛信息、参赛团队信息用于宣传品、相关出版物、制定及授权媒体发布、官方网站浏览及下载、展览(含巡展)等活动项目。
竞赛数据说明:组委会授权参赛人员使用提供的数据进行指定比赛的模型训练工作,参赛人员不得将数据用于任何商业用途。若做科研使用,请与赛事主办方联系确认。
作品合规性:参赛团队需保证提交作品的合规性,若出现下列或其他重大违规的情况,经大赛组委会合议后,取消参赛团队的参赛资格和成绩,获奖团队名单依次顺延。重大违规情况如下: 1)使用小号、串通、剽窃他人代码等涉嫌违规、作弊行为;2)不经允许使用外部数据;3)团队提交的材料内容不完整,或提交任何虚假信息;4)参赛团队无法就作品疑议进行足够信服的解释说明;5)提交的作品包含不健康、淫秽、色情或诽谤任何第三方的内容等其他重大违规行为。
评审规则
评审条件:所有符合资格的参赛团队在初赛截止日期前所提交的作品均会纳入评审。大赛组委会不对任何因电脑、互联网、移动网络故障而造成的参赛作品损坏、缺失、提交延时等后果承担责任。
公平竞技:参赛团队禁止在指定考核技术能力的范围外,利用规则漏洞或技术漏洞等不良途径提高成绩与排名,禁止在比赛中抄袭他人作品、交换答案、使用多个小号,一经发现将取消比赛成绩并严肃处理。
评审方向:大赛组委会将组织评审专家对作品进行评审,包括但不限于作品的成熟度、先进性、创新性、实用性、普适性、社会效益、商业价值等因素。
作品复现及验证:参赛选手需要配合大赛组委会对比赛作品的有效性与真实性进行验证,同时自行检查提交作品的正确性,确认无误后再进行提交,大赛组委会不负责对比赛作品进行更改和调整。
评审结果确认:大赛专家委员会对作品的评审结果一旦给出则为最终结果,不另对评审结果给出反馈意见。
组织方权利
(1)大赛组委会保留拒绝某人、某团队参赛或提交作品的权利。
(2)大赛组委会拥有对比赛违规、作弊行为的判定权利和处置权利,对影响比赛组织及比赛公平性的参赛团队,大赛组委会保留收回或拒绝授予其奖项、项目资助的权利。
(3)若因故出现数据更新、评审代码更新、作弊检查等原因,大赛组委会有权对参赛结果进行重新测评并更新排行榜。
(4)大赛组委会保留修改比赛各环节时间,包括但不限于作品提交截止日期、线上线下活动日期以及路演、颁奖典礼日期的权利。
(5)大赛组委会保留调整比赛各阶段入围团队数量的权利,调整奖项设置及项目资助的权利,收回或拒绝授予某个特定参赛团队奖项、项目资助的权利。
(6)大赛组委会保留对比赛规则进行调整修改的权利,大赛主办方拥有对大赛的最终解释权。