IT人力外包人才简历库

返回列表

Python网络爬虫工程师

驻场外包人员
工作年限:3年 意向城市:杭州 浏览:2次 发布时间:近期

技能标签

Python开发 Scrapy框架 Requests库 MySQL数据库 MongoDB Redis缓存 消息队列 自动化测试 网络爬虫 分布式系统 高并发处理 数据采集 反爬策略 定时任务 任务分发

专业技能

精通Python编程语言,擅长网络爬虫开发与自动化工具设计。熟练使用Scrapy、Requests等爬虫框架,具备分布式爬虫架构设计能力。熟悉MySQL数据库与MongoDB非关系型数据库,掌握Redis缓存技术。具备自动化测试经验,熟悉Selenium、Pytest等测试框架。熟悉Linux系统运维及Shell脚本开发,能够独立完成项目部署与性能优化。

工作履历(脱敏处理)

专注于Python网络爬虫系统开发与自动化工具设计,主导多个高并发数据采集项目。设计分布式爬虫架构,采用消息队列实现任务分发,保障系统稳定性与可扩展性。开发基于Scrapy的电商商品监控系统,实现每10秒刷新商品状态并及时推送变更通知。构建抢购系统,通过定时任务与缓存机制保障秒级响应,成功提升抢购成功率至98%。具备快速交付能力,采用敏捷开发模式,确保项目按需交付。

项目经验(脱敏处理)

1. 电商商品监控系统:基于Scrapy框架开发分布式爬虫架构,采用Redis缓存商品信息,实现每10秒刷新商品状态并及时推送变更通知。处理反爬机制,采用代理IP池与验证码识别工具,保障数据采集稳定性。

2. 电商抢购系统:设计定时任务与缓存机制,实现ms级响应速度。通过商品ID自动预约抢购,抢购成功后发送通知。采用消息队列处理高并发请求,保障系统稳定性。

3. 数据采集平台:搭建可扩展的爬虫框架,支持多源数据采集与存储。采用MySQL与MongoDB混合存储方案,实现数据分类管理与快速查询。开发自动化测试用例,确保系统稳定性与可靠性。

驻场外包优势

服从性高

严格遵守甲方管理制度

技术扎实

3年项目实战经验

可长期驻场

接受异地项目外派

快速响应

24小时内可到岗

企业人才对接

专业IT人力外包服务

如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求,欢迎联系洽谈合作。

合作热线

18969108718

商务邮箱

ntit@163.com

微信扫码咨询

微信咨询二维码

扫描二维码添加商务对接

立即申请人才对接