#### 环境搭建及使用指导 [点击下载](https://s3.cn-north-1.amazonaws.com.cn/files.datafountain.cn/uploads/images/competitions/476/openLooKeng%E7%8E%AF%E5%A2%83%E6%90%AD%E5%BB%BA%E5%8F%8A%E4%BD%BF%E7%94%A8%E6%8C%87%E5%AF%BC-517301.docx) #### 赛题任务参赛选手基于openLooKeng社区所提供的比赛分支，进行openLooKeng的代码优化，以提升openLooKeng对接hive数据源（文件使用ORC格式）的执行效率。组委会提供benchmark工具集（包括SQL语句等）供选手进行测试。在比赛阶段，选手将最终优化过的openLooKeng代码进行提交，组委会会使用相同的benchmark工具集进行评测以及排名。 #### 数据简介 1.比赛使用TPC-DS数据集，对于表的格式以及字段可以参考TPC-DS官网，用户自行用所提供的benchmark工具进行测试。 2.比赛所使用的SQL由组委会提供，包含在benchmark工具集中。 3.选手可以对如下但不限于的维度进行openLooKeng性能优化，如语法语义分析，执行计划优化，调度优化，算子优化，网络优化，传输序列化/反序列化等，以便让所有SQL执行更快。 4.openLooKeng所对接的数据源为hive，表的存储格式为ORC。 5.组委会保留对赛题进行阐释以及修改的权利。 #### 数据说明 1.组委会会提供默认的openLooKeng集群配置，包含引擎本身配置以及对接Hive数据源配置。 2.赛题所涉及的TPC-DS的表的定义可以在TPC官网查询http://tpc.org/TPC_Documents_Current_Versions/pdf/TPC-DS_v2.13.0.pdf。 #### 提交要求 1、最终提交压缩包统一命令：openlookeng.tar.gz 2、解压后的目录结构如下：包括三部分：优化设计文档，openlookeng运行etc目录，hetu-core代码目录。温馨提示： 1、请务必附上一个文档（design.doc）介绍openLooKeng性能优化解决思路以及方案设计。 2、请务必附上etc目录，包含你本地测试的配置文件。 ![image.png](https://s3.cn-north-1.amazonaws.com.cn/files.datafountain.cn/uploads/admin/editor/2020-12-02/image-241552.png) 注意事项： 1、压缩后请解压到另外一个目录，自验是否可以正常编译（ mvn clean install -DskipTests=true -Dfast -T 2C -Dmaven.compile.fork=true），如果出现.git directory is not found 错误，请尝试更新hetu-core下POM.xml文件，pluginManagement添加如下plugin： ```` xml pl.project13.maven git-commit-id-plugin false false ```` ![image.png](https://s3.cn-north-1.amazonaws.com.cn/files.datafountain.cn/uploads/admin/editor/2020-12-02/image-660075.png) 2、为了减少所提交的源文件压缩包大小，提交之前请执行mvn clean命令删除多余内容，一般情况下源代码的压缩文件大小在60MB左右。 #### 评测标准评测的分数为benchmark工具集中SQL运行时间累计，设置有超时时间，选手耗时越短、排名越高。选手代码运行失败、运行超时，返回最大超时时间。 #### 参考资料 1.openLooKeng 开源社区主页 https://www.openlookeng.io/ 2.openLooKeng技术文档： https://openlookeng.io/docs/docs/overview.html 3.openLooKeng技术公众号及微信小助手： ![image.png](https://s3.cn-north-1.amazonaws.com.cn/files.datafountain.cn/uploads/admin/editor/2020-10-13/image-645046.png) ![image.png](https://s3.cn-north-1.amazonaws.com.cn/files.datafountain.cn/uploads/admin/editor/2020-10-13/image-863747.png)