技能标签
专业技能
精通Hadoop生态体系(HDFS/MapReduce/YARN)及Spark分布式计算框架,熟悉Flink、Kafka等实时计算技术。掌握Java/Python多语言开发,具备分布式系统设计能力。精通SQL及NoSQL数据库(MySQL/Redis/MongoDB),熟悉数据仓库建模与ETL开发。具备机器学习算法(决策树/随机森林/SVM)及深度学习(TensorFlow/PyTorch)项目经验。
工作履历(脱敏处理)
长期从事大数据平台架构设计与开发,主导搭建企业级数据中台架构,实现日均PB级数据的实时处理与分析。设计基于Spark的批流一体计算框架,使数据处理效率提升300%。开发分布式ETL流水线,实现数据采集、清洗、存储全流程自动化。构建机器学习特征工程平台,支持多业务线模型训练需求。持续优化Hadoop集群资源调度策略,降低计算成本25%。
项目经验(脱敏处理)
1) 基于Hadoop的用户行为分析平台:设计分布式数据仓库架构,采用Hive+Spark实现用户行为数据的实时分析,通过数据分区和列式存储优化查询性能,使报表生成时间缩短至分钟级。2) 实时风控系统开发:基于Kafka+Spark Streaming构建流处理架构,采用窗口函数实现毫秒级风险预警,成功拦截异常交易12万笔。3) 机器学习特征平台建设:搭建全流程特征工程系统,集成XGBoost/LightGBM算法模型,实现特征自动提取与在线服务化,支撑3个业务线的精准营销项目。
驻场外包优势
服从性高
严格遵守甲方管理制度
技术扎实
6年项目实战经验
可长期驻场
接受异地项目外派
快速响应
24小时内可到岗
企业人才对接
专业IT人力外包服务
如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求,欢迎联系洽谈合作。
合作热线
18969108718
商务邮箱
ntit@163.com
微信扫码咨询
扫描二维码添加商务对接