IT人力外包人才简历库

返回列表

Python爬虫开发工程师

驻场外包人员
工作年限:1年 意向城市:杭州 浏览:3次 发布时间:近期

技能标签

Python Scrapy MySQL MongoDB Redis 多线程 多进程 反爬策略 数据采集 自动化登录 请求处理 HTML解析 数据库优化 异常处理

专业技能

精通Python爬虫开发,掌握Scrapy框架进行结构化数据抓取,熟悉requests库处理HTTP请求与反爬策略。具备多线程/多进程并发处理能力,熟练使用MySQL、MongoDB、Redis进行数据存储与缓存优化。擅长自动化登录模拟、图片/文本内容提取、异常处理及日志分析,具备基础网络协议分析能力

工作履历(脱敏处理)

在校期间系统学习Python编程及网络爬虫技术,完成多个数据采集项目实践。独立开发小说内容采集系统,采用Scrapy框架实现多线程爬取,通过代理IP池应对反爬策略,数据存储至MySQL与MongoDB。开发图片采集工具,使用requests库处理动态渲染页面,通过Selenium实现浏览器自动化。持续优化爬虫性能,采用Redis缓存请求队列,提升数据抓取效率30%以上

项目经验(脱敏处理)

1. 小说内容采集系统:基于Scrapy框架开发多线程爬虫,处理反爬策略与动态渲染页面,数据存储至MySQL与MongoDB,日均采集数据量达50万条

2. 图片内容采集工具:使用requests库处理HTTP请求,通过Selenium实现浏览器自动化,开发图片识别模块过滤无效数据,提升采集准确率至95%

3. 数据分析平台搭建:基于Redis实现请求队列缓存,优化数据库索引结构,完成百万级数据的存储与查询性能优化,响应时间缩短至500ms以内

驻场外包优势

服从性高

严格遵守甲方管理制度

技术扎实

1年项目实战经验

可长期驻场

接受异地项目外派

快速响应

24小时内可到岗

企业人才对接

专业IT人力外包服务

如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求,欢迎联系洽谈合作。

合作热线

18969108718

商务邮箱

ntit@163.com

微信扫码咨询

微信咨询二维码

扫描二维码添加商务对接

立即申请人才对接