技能标签
专业技能
精通Hadoop生态体系（HDFS/YARN/MapReduce），擅长Hive/Spark/ClickHouse等OLAP引擎，具备复杂SQL优化能力。熟练掌握数据迁移工具（Sqoop/DataX/Kettle）及调度框架（Azkaban/DolphinScheduler），熟悉Kafka/Canal/Flink CDC等实时数据同步方案。精通Hive/Spark参数调优及集群资源调度，具备Kerberos安全认证与K8s/Docker容器化部署经验。掌握Java/Scala开发，熟悉UDF/UDTF函数实现及多线程编程。熟悉ELK日志分析体系，具备MySQL/FineReport等工具链整合能力。
工作履历（脱敏处理）
专注于大数据平台架构设计与优化，主导搭建分布式数据处理体系，实现数据采集、存储、计算全流程自动化。设计并实施Hive/Spark作业调度方案，提升数据处理效率30%。开发数据同步中间件，整合Kafka/Canal/Flink CDC实现实时数据同步，降低数据延迟至秒级。主导Hadoop集群资源调度优化，提升集群利用率25%。设计并实施Kerberos安全认证方案，保障数据平台安全合规。开发自研数据质量监控系统，集成ELK实现日志集中分析，提升运维效率40%。
项目经验（脱敏处理）
数智营销引擎开发（2022.03-2023.01）：设计并实现基于Hadoop生态的营销数据分析平台，采用Spark+Hive架构处理PB级数据，通过SQL优化和资源调度提升查询效率30%。解决数据倾斜问题，采用动态分区策略优化ETL流程。集成Kafka实时数据采集，结合Canal实现MySQL增量数据同步，构建实时营销分析看板。设计数据质量监控体系，使用ELK实现日志集中分析，定位并修复数据异常问题12项。开发自研数据同步中间件，整合DataX/Sqoop实现多源数据采集，提升数据采集效率50%。
驻场外包优势
服从性高
严格遵守甲方管理制度
技术扎实
5年项目实战经验
可长期驻场
接受异地项目外派
快速响应
24小时内可到岗
企业人才对接
专业IT人力外包服务
如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求，欢迎联系洽谈合作。
合作热线
18969108718
商务邮箱
ntit@163.com
微信扫码咨询
扫描二维码添加商务对接