技能标签
专业技能
精通Hadoop分布式计算框架、Apache Spark流处理引擎、HBase分布式数据库、Solr全文检索引擎、Kafka分布式消息队列及Storm实时计算框架。熟悉数据仓库建模与ETL开发,掌握数据聚类算法、协同过滤推荐算法及机器学习模型构建。具备大数据平台架构设计与调优能力,擅长分布式系统性能优化及高并发场景解决方案设计。
工作履历(脱敏处理)
深度参与企业级大数据平台架构设计与实施,主导Hadoop集群分布式存储方案选型与性能调优,实现数据存储成本降低25%。设计基于Spark的实时数据处理流水线,通过动态资源调度策略提升任务执行效率40%。搭建统一数据接入平台,支持关系型数据库与非结构化文档数据的标准化处理,构建多维度数据索引体系,实现秒级数据检索响应。主导数据挖掘模型开发,通过用户行为分析构建个性化推荐系统,提升业务转化率15%。
项目经验(脱敏处理)
主导建设企业级Hadoop云数据平台,实现PB级数据的集中存储与智能分析。设计多源数据接入方案,采用Flume+Kafka构建实时数据管道,通过MapReduce实现非结构化文档的要素抽取与结构化处理。构建基于Solr的分布式索引系统,优化倒排索引策略提升检索效率。开发关系挖掘算法模块,通过图数据库存储用户社交关系网络,实现跨维度数据关联分析。采用Spark Streaming构建实时数据处理引擎,通过窗口函数实现流量高峰时段的动态资源调度,保障系统稳定运行。
驻场外包优势
服从性高
严格遵守甲方管理制度
技术扎实
3年项目实战经验
可长期驻场
接受异地项目外派
快速响应
24小时内可到岗
企业人才对接
专业IT人力外包服务
如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求,欢迎联系洽谈合作。
合作热线
18969108718
商务邮箱
ntit@163.com
微信扫码咨询
扫描二维码添加商务对接