IT人力外包人才简历库

返回列表

大数据开发工程师

驻场外包人员
工作年限:4年 意向城市:杭州 浏览:3次 发布时间:近期

技能标签

Java Scala Hadoop Spark Flink Kafka HiveSQL HBase DataWorks MaxCompute OLAP ETL 数据仓库 维度建模 实时计算 任务调度

专业技能

精通Java/Scala语言开发,具备大数据平台架构设计能力。熟练掌握Hadoop生态体系(HDFS/YARN/MapReduce)、Spark全栈开发(SparkSQL/SparkStreaming)及Flink实时计算引擎。精通数据仓库建设,熟悉维度建模与OLAP数据库(ClickHouse/Druid/Impala+Kudu)应用。掌握实时数仓构建技术,具备DataWorks/MaxCompute平台开发经验。精通数据清洗、脱敏、ETL流程设计,熟悉Flume/Canal/Kafka数据采集体系。具备HiveSQL优化及数据倾斜解决方案设计能力,熟悉Azkaban/Oozie任务调度体系。

工作履历(脱敏处理)

专注大数据平台架构设计与开发,主导数据仓库建设及实时数仓优化。擅长处理海量数据清洗、脱敏及多维度建模,具备复杂计算场景的性能调优经验。深度参与数据采集体系搭建,实现Flume/Canal/Kafka数据管道的稳定运行。主导离线计算任务开发,优化HiveSQL执行效率并解决数据倾斜问题。熟悉DataWorks/MaxCompute平台开发流程,具备任务调度体系设计与实施能力,保障数据处理流程的稳定性与高效性。

项目经验(脱敏处理)

固定成本报表分析平台:基于DataWorks构建数据仓库,设计多维度离线计算架构实现日志数据清洗与维度建模。采用Spark进行月累计计算优化,通过数据倾斜解决方案提升计算效率30%。搭建实时数据管道,整合Kafka与Flink实现业务指标实时计算,支撑企业资金管理决策。优化HiveSQL执行计划,通过分区裁剪与列裁剪技术降低查询响应时间。设计HBaseRowkey策略,实现高并发场景下的数据读写性能提升。

驻场外包优势

服从性高

严格遵守甲方管理制度

技术扎实

4年项目实战经验

可长期驻场

接受异地项目外派

快速响应

24小时内可到岗

企业人才对接

专业IT人力外包服务

如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求,欢迎联系洽谈合作。

合作热线

18969108718

商务邮箱

ntit@163.com

微信扫码咨询

微信咨询二维码

扫描二维码添加商务对接

立即申请人才对接