重要通知

【有关评测优化、对历史提交结果进行重新评测的说明】
为进一步优化评测环境，提升赛题评测质量，“高鲁棒领域事件检测”赛题将于7月7日22:30开始，对所有选手历史提交结果进行重新评测，并依据新的评测结果更新排行榜，预计少数团队的分数受到影响产生微小变动。
重新评测过程预计为3-5个小时，建议各参赛选手避开此时间段进行结果提交。

数据引用

此赛题数据仅被授权用于学术科研使用，不得用于任何商业用途。若做科研使用，请注明数据来源于本赛事，并对此数据集及论文进行规范引用。
数据集及论文：
https://www.semanticscholar.org/paper/A-dataset-of-domain-events-based-on-open-source-Huang-Sun/89ca549586439f02776cea8e1a69e322b34acf1b

数据简介

FNED数据集包含8种事件类型，共计1.3万个具有事件信息的句子（每个句子中包含一个事件），数据来源于公开军事新闻网站（如新浪军事、凤凰军事和网易军事等），标注信息包含事件提及（触发词、事件类型和事件元素）、实体提及（实体）和关系提及（头实体、尾实体和关系类型），其中8种事件类型及相应事件元素如表1所示，7种实体类型如表2所示，8种关系类型如表3所示。事件的触发词和事件类型为期望的输出结果，实体提及和关系提及可作为事件检测的辅助信息。

表1 领域事件类型及对应事件元素

event_type	事件类型	事件元素
Experiment	试验（Experiment）	主体、装备、时间、地点
Manoeuvre	演习（Manoeuvre）	主体、演习内容、时间、区域
Deploy	部署（Deploy）	主体、军事力量、时间、地点
Indemnity	保障（Indemnity）	主体、客体、物资、时间
Support	支援（Support）	主体、客体、时间
Accident	意外事故（Accident）	主体、事故后果、时间、地点
Exhibit	展示（Exhibit）	主体、装备、时间、地点
Non-event	非事件（Non-event）	——

表2 实体类型及相应说明

entity_type	实体类型	说明
PER	人物(PER)	表示一个或多个人物的实体
FAC	设施(FAC)	建筑、机场、铁路、桥等表示设施本身而非地点的实体
ORG	组织(ORG)	表示一个或多个公司、机构、单位和组织等的实体
GPE	政治实体(GPE)	一个或多个国家、城市、省（州）和行政区域等政治实体
LOC	地点(LOC)	非政治实体的、表示地点和区域的实体
TIME	时间(TIME)	表示日期、时刻（清晨、半夜或具体的几时几分）或时间跨度的实体
EQU	装备(EQU)	表示一个或多个武器装备的实体

表3 关系类型及相应说明

relation_type	关系类型	说明
Subordinate	隶属(Subordinate)	人物或组织隶属于组织或政治实体、政治实体隶属于政治实体的关系
Fellow	共事(Fellow)	两个人物隶属于同一个组织，则属于共事关系
Belong	归属(Belong)	装备归属于组织或政治实体的关系
Develop	研制(Develop)	组织或政治实体研制装备的关系
Carry	搭载(Carry)	一个装备搭载人物或搭载另一个装备的关系
Cooperation	合作(Cooperation)	人物、组织、政治实体之间的合作关系
Hostility	敌对(Hostility)	人物、组织、政治实体之间的敌对关系
Equal	等价(Equal)	重复出现的相同实体之间的等价关系

对FNED数据集的1.3万个样本进行划分, 其中训练集含7000条样本，验证集含1500条样本，测试集含4500条样本。FNED数据集的训练集和验证集存在一定程度的标签污染。
标签污染数据示例：
“根据北京青年报的报道,1月19日晚上7点左右福建省泉州市泉港区界山镇下朱尾村附近发生直升机坠毁事故,现场听到爆炸声,看到浓烟滚滚｡报道提到,此次事故得到了泉港区公安局工作人员的确认,泉州市消防部门工作人员还提到,现场有三名伤者并被送医｡”(trigger: “坠毁”，event_type:" Manoeuvre ")
句中标记的触发词为“坠毁”，事件类型被错误标记为“Manoeuvre”，正确的事件类型标签应为“Accident”。

外部数据集及开源框架使用说明：

1.不允许使用第三方数据集；
2.不限制使用开源框架；
3.不限制使用预训练模型，如bert、nezha等开源模型，但是预训练模型不能是与该数据集相关的数据集进行训练得到的，同时预训练模型需要是开源且可追溯的。

数据说明

数据集文件中包括三个json文件，分别为train.json、valid.json和test.json，对应于训练集、验证集和测试集。
训练集和验证集中单条样例的格式及字段说明如下（测试集不包括事件提及标注字段，其余部分与训练集和验证集保持一致。）：

{
	#"id":句子唯一标识符
	"id":"1377",
	#"sentence":句子文本（stirng）
	"sentence": "除了无人机,无人战斗车的爆发式展示也是本届珠海航展的最大亮点之一｡在今年珠海航展上,各大军工集团纷纷推出了多款具有世界先进水平的无人战斗车,让人目不暇接｡珠海航展上展示的无人战斗车,炮塔上集成了机枪､反坦克导弹和烟幕弹发射器｡",
#"tokens":分词后形成的token列表（list）
	"tokens": ["除了", "无人机", ",", "无人", "战斗", "车", "的", "爆发式", "展示", "也", "是", "本届", "珠海航展", "的", "最大", "亮点", "之一", "｡", "在", "今年", "珠海航展", "上", ",", "各大", "军工", "集团", "纷纷", "推出", "了", "多款", "具有", "世界", "先进", "水平", "的", "无人", "战斗", "车", ",", "让", "人", "目不暇接", "｡", "珠海航展", "上", "展示", "的", "无人", "战斗", "车", ",", "炮塔", "上", "集成", "了", "机枪", "､", "反坦克", "导弹", "和", "烟幕弹", "发射器", "｡"],
	#"tokens_count":token个数（int）
	"tokens_count": 63,
	#"event_mention":事件提及字典（dict），非事件样本的event_mention为{}
	"event_mention": {
		#"trigger":事件触发器
		"trigger": {
			#"text":事件触发词文本
			"text": "展示",
			#"offset":事件触发词在token列表中的偏移量
			"offset": [45,46]
		}
		#"event_type":标注的事件类型
		"event_type": "Exhibit",
		#"arguments":标注的事件类型对应的论元识别和角色分类（list），其中每个元素是一个字典
		"arguments": [{
			#"role":事件论元角色分类
			"role": "Date",
			#"text": 事件论元
			"text": "今年",
			#"offset":事件论元在token列表中的偏移量
			"offset": [19, 20]
			},
			{
			"role": "Location",
			"text": "珠海航展",
			"offset": [20, 21]
			},
			{
			"role": "Equipment",
 			"text": "无人战斗车",
 			"offset": [35, 38]
			},
			{
			"role": "Subject", 
			"text": "各大军工集团", 
			"offset": [23, 26]}
			},
		],
	},
	#"entity_mention":实体提及（list），其中每个元素是一个字典
	"entity_mention": [{
		#"entity_type":实体类型
		"entity_type": "EQU",
		#"text":实体文本
		"text": "无人机",
		#"offset":实体在token列表中的偏移量
		"offset": [1, 2]
		},
		{
		"entity_type": "EQU", 
		"text": ",无人战斗车",
		"offset": [2, 6]
		},
		{
		"entity_type": "ORG", 
		"text": "珠海航展", 
		"offset": [12, 13]
		},
		{
		"entity_type": "EQU",
 		"text": "无人战斗车", 
		"offset": [47, 50]
		},
		{
		"entity_type": "EQU", 
		"text": "炮塔",
 		"offset": [51, 52]
		},
		{
		"entity_type": "EQU",
 		"text": "机枪",
 		"offset": [55, 56]
		},
		{
		"entity_type": "EQU",
 		"text": "反坦克导弹",
 		"offset": [57, 59]
		},
		{
		"entity_type": "EQU",
 		"text": "烟幕弹发射器",
 		"offset": [60, 62]}
		}
	],
	#"relation_mention": 实体关系提及（list），每个元素是一个字典
	"relation_mention": [{
		#"head":关联实体中的头实体
		"head": {
			"entity_type": "EQU",
			"offset": [47, 50]
			},
		#"tail":关联实体中的尾实体
		"tail": {
			"entity_type": "EQU",
			"offset": [2, 6]
			},
		#"relation_type":实体关系类型
		"relation_type": "Equal"
		},
		{
		"head": {
			"entity_type": "EQU", 
			"offset": [51, 52]
		},
		"tail": {
			"entity_type": "EQU",
			"offset": [55, 56]
		},
		"relation_type": "Carry"
		},
		{
		"head": {
			"entity_type": "EQU", 
			"offset": [51, 52]
		},
		"tail": {
			"entity_type": "EQU",
			"offset": [57, 59]
		},
		"relation_type": "Carry"
		},
		{
		"head": {
			"entity_type": "EQU", 
			"offset": [51, 52]
			},
		"tail": {
			"entity_type": "EQU",
			"offset": [60, 62]
			},
		"relation_type": "Carry"
		},
		{
		"head": {
			"entity_type": "EQU", 
			"offset": [2, 6]
			},
		"tail": {
			"entity_type": "ORG",
			"offset": [12, 13]
			},
		"relation_type": "Belong"
		},
		{
		"head": {
			"entity_type": "EQU", 
			"offset": [1,2]
			},
		"tail": {
			"entity_type": "ORG",
			"offset": [12, 13]
			},
		"relation_type": "Belong"
		}
	]
}

提交要求

提交方式包括：
（1）初赛阶段：参赛者将结果以单个json文件格式提交到平台，平台进行在线评分，实时排名。以截止日排名决出入围复赛的队伍。
（2）复赛阶段：提交要求与初赛一致，以截止日排名决出入围决赛的队伍。
（3）决赛阶段：参赛者将复现算法所需要的各类文档、源代码、决赛评审所需的其他资料提交，主办方进行复现评审。

提交注意事项：
（1）在线评估提交限制：每个参赛团队每天最多提交3次事件检测结果进行在线评测，如果新提交结果好于之前提交结果，排行榜中的成绩将自动进行更新覆盖；
（2）公平竞争，遵守规则，尊重对手，提交的json文件禁止通过手动打标获得；
（3）提交的算法必须能够复现，否则将取消参赛者排名资格；
（4）决赛提交的算法所需文档中需注明复现算法步骤。

提交示例

选手请以utf-8编码格式将结果保存为json文件，将每个句子id以及对应的事件触发词和事件类型组成的json数据，提交的结果中不能有空行，数据字段说明及样例格式见下：

{
"id":49,
#若预测结果为非事件，则event_mention为{}
"event_mention": {
	"event_type": "Exhibit",
	"trigger": {
		"text": "展示",
		"offset": [12, 13]
		}
	}
}

注意：请提交json结果文件，例如result.json

对于存在多触发词的评测处理说明

对于确实存在多触发词的情况，评测程序已于2022年6月28日更新。只要offset满足候选其一就可以算正确，提交结果的格式保持不变，只能有一个offset。所有在此之前的选手历史提交结果都将重新进行评测，预计6月28日13时之前评测完成。

以下两个示例以解释什么样的情况属于“多触发词”，仅供参考：
例子1：当地时间10月17日晚，中国海军第十五批护航编队组织特战队员在亚丁湾某海域进行夜间索滑降训练。特战队员克服舰艇摇摆､光线微弱等困难，圆满完成了训练任务。通过训练进一步提高了快速反应能力，为执行护航任务打牢了基础。
上述例子的“滑降训练”、“通过训练”中的“训练”均可作为“Manoeuvre”事件的触发词。

例子2：12月7日上午11时30分，枭龙双座战斗教练机02架首飞，28分钟后平稳着陆。这是继枭龙双座01架首飞后的又一重要研制节点。
上述例子第一个“首飞”可作为“Experiment”事件的触发词，而第二个“首飞”不是。因为该句子主要描述的是装备“枭龙双座战斗教练机02架”在时间“12月7日上午11时30分”进行了试验这个事件。

评测标准

由于数据集中各事件类型分布不均衡，本赛题采用$\operatorname{Macro}-\mathrm{F} 1$值进行评价，即：先计算出每一个事件类型$\mathrm{ET} _{i}$（不包括非事件）的$\mathrm{F} 1$值$\mathrm{F} 1_{i}$，然后通过求均值得到在整个样本上的$\mathrm{F} 1$ score。
$\mathrm{ET} _{i}$的$\mathrm{F} 1$值($\mathrm{F} 1_{i}$)计算方式如下：

$\mathrm{F} 1_{i}=\frac{2 * \mathrm{P}_{i} * \mathrm{R}_{i}}{\mathrm{P}_{i}+\mathrm{R}_{i}}$

其中：
精准率($\mathrm{P}_{i}$)=预测正确的样本数/预测为$\mathrm{ET} _{i}$的样本数
召回率($\mathrm{R}_{i}$)= 预测正确的样本数/标注为$\mathrm{ET} _{i}$的样本数
最终评价指标$\operatorname{Macro}-\mathrm{F} 1$值计算方式如下：

$\operatorname{Macro}-\mathrm{F} 1=\frac{\sum_{i=1}^{7} \mathrm{~F1}_{i}}{7}$

其中，预测正确表示预测结果的"event_type"字段、"trigger"字段以及"offset"字段与标注结果完全一致。”

备注：参赛者可以不使用本数据集提供的分词结果，但提交结果的"offset"字段是基于本数据集提供的分词词序。