技能标签
专业技能
精通Python编程语言及爬虫框架开发，熟练使用Scrapy构建分布式爬虫系统，掌握Selenium、Appium等自动化测试工具进行移动端数据采集。具备反爬虫技术攻关能力，熟悉JavaScript加密算法（如AES、MD5）破解及接口监控技术。擅长数据清洗与ETL处理，熟练使用XPath、正则表达式、Mitmproxy等工具进行数据抓取与分析。熟悉Linux系统环境部署及定时任务配置，具备Django框架开发经验，能够实现前后端接口数据交互与分页处理。
工作履历（脱敏处理）
主导多个数据采集项目开发，设计并实现分布式爬虫系统，日均处理百万级数据量。开发自动化测试脚本，完成微博、抖音等平台的账号数据采集，攻克JS加密反爬虫技术，提升数据抓取效率30%。搭建接口监控系统，实现数据上传稳定性99.9%。优化数据清洗流程，通过正则表达式与XPath技术提升数据处理效率。参与Django框架项目开发，实现前后端接口数据交互与分页功能，支持百万级数据查询。维护Linux服务器环境，配置定时任务实现数据自动采集与存储。
项目经验（脱敏处理）
1. 构建分布式爬虫系统，使用Scrapy框架完成MySQL数据库数据采集，通过XPath与正则表达式实现数据清洗与重新入库，日均处理100万+数据条。2. 开发Appium自动化测试脚本，完成抖音APP博主店铺数据采集，攻克AES加密反爬虫技术，提升数据抓取成功率至98%。3. 设计Mitmproxy接口监控方案，实现数据上传稳定性99.9%，优化代理服务配置降低反爬虫风险。4. 破解微博APP数据加密算法，通过Fiddler抓包分析实现博主发布数据采集，完成移动端数据采集流程优化。5. 开发Selenium自动化脚本，完成电商平台数据抓取，解决动态渲染页面数据采集难题，提升数据采集效率40%。
驻场外包优势
服从性高
严格遵守甲方管理制度
技术扎实
5年项目实战经验
可长期驻场
接受异地项目外派
快速响应
24小时内可到岗
企业人才对接
专业IT人力外包服务
如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求，欢迎联系洽谈合作。
合作热线
18969108718
商务邮箱
ntit@163.com
微信扫码咨询
扫描二维码添加商务对接