数据更新

更新时间：4月3日11：31
更新内容：更新测试集，移除了测试数据集中与疫情无关的行

数据说明

本次比赛将提供以下数据文件：
多模态虚假新闻检测数据集
本次虚假新闻检测任务中，包含文本和图片两种模态的信息。
1)文本数据

• id：新闻id，每条新闻的id均不相同，唯一表征一条新闻；
• content: 新闻的文本内容；
• picture_lists：新闻所包含的图片id，字段为空则代表该新闻没有图片，若有多张图片则按其在文本中出现的顺序以“\t”分割。
• comment_2：新闻的评论(最多两条)，字段为空则代表该新闻没有评论，多条评论则以“\t”分割。
• comment_all：新闻的所有评论，字段为空则代表该新闻没有评论，多条评论则以“\t”分割。
• category: 取值为{疫情，科技，政治，军事，财经商业，社会生活，文体娱乐，医药健康，教育考试}，表示新闻所属的领域；其中，训练集中包含除疫情外的所有领域的新闻，测试集只包含疫情相关的新闻，需要注意的是，疫情分类中的新闻按内容仍然可以被分入其它类别，只是考虑到比赛需要单独列出。
• ncw_ label：取值为{0,1}，0表示需要进行真假判断，1表示不需要进行真假判断。
• fake_ label：取值为{0,1},0表示非虚假新闻，1表示虚假新闻。
• real_ label：取值为{0,1},0表示非真实新闻，1表示真实新闻。
  2)图片数据
  图片文件夹中，每张图片均以“id + 格式后缀”的形式命名，格式后缀包含“.jpg”，“.jpeg”,“.png”等多种形式，格式后缀也可能为空。

注意：本赛题不可使用外部数据集。入围团队需提供代码、说明文件等材料供审查。

政府数据补充参考

为了辅助参赛者更好的分析赛题、优化方案，北京市特别开放了部分政府数据（部分数据首次开放）。参赛者报名大赛任意一道赛题后，即获得数据权限，可登陆北京市政务数据资源网（data.beijing.gov.cn）下载（报名后24小时内即可获权）。

【登陆方式】登陆时用户名为“DataFountain平台个人ID”（可在“我的主页”头像处查看），密码为“用户名!@#手机号后4位”。

【下载方式】成功登陆后，依次点击“个人中心”-“互动”-“我的活动”即可进入下载页面。

【数据提供方】北京市发展改革委员会、北京市经济和信息化局、北京市民政局、北京市生态环境局、北京市交通委、北京市水务局、北京市文化旅游局、北京市卫生健康委、北京市应急管理局、北京市气象局、北京市地勘局

【详情介绍】：https://data.beijing.gov.cn/kjzy2020/index.html

提交要求

参赛者以csv文件格式，提交模型结果到大数据竞赛平台，平台进行在线评分，实时排名。目前平台仅支持单文件提交，即所有提交内容需要放在一个文件中。csv文件字段如下：

约束：real_prob_label_t+ fake_prob_label_t + ncw_prob_label_t = 1, t={0c,2c,all}。

提交示例

示例如下：
id,fake_prob_label_0c, fake_prob_label_2c, fake_prob_label_all, real_prob_label_0c, real_prob_label_2c, real_prob_label_all, ncw_prob_label_0c, ncw_prob_label_2c, ncw_prob_label_all
1,0.7989,0.8001, 0.9212, 0.012, 0.010, 0.009, 0.1891, 0.1899, 0.0698
……

评测标准

评价指标为加权求和的交叉熵，计算方法如下：

$score_t = -\frac{1}{N}\sum_{i=1}^{N} [y_i^{fake}\log(\hat{y}_i^{fake,t})+(y_i^{real})\log(\hat{y}_i^{real,t})+y_i^{ncw}\log(\hat{y}_i^{ncw,t})]$

$t \in \{0c,2c,all\}$

$score = \beta_1 score_{0c}+ \beta_2 score_{2c}+ (1-\beta_1-\beta_2)score_{all}$

$score = \frac{1}{(1+score)}$

其中，$score_t$为使用前t条评论数据的得分，$t∈{0c,2c,all}$，分别代表提供0条、2条和全部采集到的评论数据。$y_i^{a}∈{0,1}$，是第i个测试样本属于a类别（真：real、假：fake、无需真假判断：ncw）的ground truth标签；$\hat{y}^i_{a,t}$是在使用t条评论内数据的情况下，对第i个测试样本属于a类别的概率估计值。最终得分是score_t的加权求和，权重因子$\beta_1=0.5$，$\beta_2=0.3$。N为测试样本数。得分越高，说明模型性能越好，排名则越靠前。