IT人力外包人才简历库

返回列表

数据挖掘与爬虫工程师

驻场外包人员
工作年限:1年 意向城市:杭州 浏览:2次 发布时间:近期

技能标签

Python 数据挖掘 爬虫技术 机器学习 数据处理 Docker Scrapy Playwright Git 网络安全 反爬虫策略 容器化部署 数据分析 接口测试 版本控制

专业技能

精通Python编程语言(数据处理、机器学习),熟悉Pandas、NumPy、Scikit-learn等数据分析库。掌握Scrapy框架与Playwright工具进行高效数据采集,具备反爬虫策略制定与突破能力。熟练使用Docker/docker-compose实现容器化部署与环境隔离。熟悉Git版本控制与团队协作流程。具备基础网络安全知识,能使用Burp Suite进行接口安全测试。

工作履历(脱敏处理)

专注于数据采集与挖掘领域,主导开发海外数据采集平台,通过Scrapy框架实现多源数据抓取,结合Playwright解决动态渲染反爬问题。设计分布式爬虫架构提升数据采集效率300%,构建数据清洗管道实现98%数据可用率。参与企业安全测试项目,使用Burp Suite完成接口安全评估,发现并修复3个高危漏洞。主导搭建容器化部署环境,通过Docker实现开发/测试/生产环境隔离,提升部署效率50%。

项目经验(脱敏处理)

海外数据采集平台:基于Scrapy+Playwright构建分布式爬虫系统,攻克动态渲染反爬、IP封禁等技术难题,实现日均百万级数据采集。采用Docker容器化部署,通过负载均衡提升系统扩展性。开发数据清洗模块,使用Pandas进行数据去重与特征提取,构建机器学习模型提升数据质量。网络数据安全评估项目:使用Burp Suite进行接口安全测试,发现并修复3个高危漏洞,制定安全防护方案。设计自动化测试框架,实现接口功能与性能测试覆盖率100%。

驻场外包优势

服从性高

严格遵守甲方管理制度

技术扎实

1年项目实战经验

可长期驻场

接受异地项目外派

快速响应

24小时内可到岗

企业人才对接

专业IT人力外包服务

如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求,欢迎联系洽谈合作。

合作热线

18969108718

商务邮箱

ntit@163.com

微信扫码咨询

微信咨询二维码

扫描二维码添加商务对接

立即申请人才对接