技能标签
专业技能
精通Python编程语言及Scrapy框架开发,掌握JavaScript逆向工程与动态渲染解析技术,具备分布式爬虫架构设计能力。熟练使用Docker进行容器化部署与集群管理,精通MongoDB与MySQL数据库设计与优化。擅长数据清洗、信息抽取、去重算法及匹配策略开发,熟练运用XPath、CSS选择器、正则表达式进行数据解析。熟悉代理池管理、Cookie池技术及反爬虫策略应对方案。
工作履历(脱敏处理)
主导多平台数据采集系统开发,完成京东全品类商品数据采集,攻克分页结构复杂度问题,实现AJAX请求动态解析与分页逻辑优化。设计智联招聘招聘数据抓取方案,构建代理池与Cookie池系统,解决反爬虫策略。完成美团H5指纹参数逆向,突破动态加密参数解析难题。持续优化数据清洗流程,提升信息抽取准确率。主导分布式爬虫架构设计,通过Docker实现弹性扩展与资源调度,提升系统稳定性与数据采集效率。
项目经验(脱敏处理)
京东商品数据采集系统:设计分布式爬虫架构,攻克分页结构复杂度问题,通过AJAX请求动态解析与分页逻辑优化,实现全品类商品数据高效采集。智联招聘信息抓取平台:构建代理池与Cookie池系统,解决反爬虫策略,完成招聘数据结构化采集与存储。美团H5指纹参数逆向:突破动态加密参数解析难题,通过F12调试工具与动态分析,实现关键参数逆向及登录流程自动化。
驻场外包优势
服从性高
严格遵守甲方管理制度
技术扎实
9年项目实战经验
可长期驻场
接受异地项目外派
快速响应
24小时内可到岗
企业人才对接
专业IT人力外包服务
如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求,欢迎联系洽谈合作。
合作热线
18969108718
商务邮箱
ntit@163.com
微信扫码咨询
扫描二维码添加商务对接