IT人力外包人才简历库

返回列表

数据采集开发工程师

驻场外包人员
工作年限:1年 意向城市:杭州 浏览:4次 发布时间:近期

技能标签

Python开发 网络爬虫 数据清洗 自动化运维 Linux系统 容器化部署 数据库管理 API开发 正则表达式 Shell脚本 分布式架构 数据可视化 版本控制 性能优化 反爬策略

专业技能

Python全栈开发(Django/Flask/FastAPI框架),网络爬虫技术(Scrapy/Playwright/Selenium/Requests),数据处理(Pandas/NumPy/正则表达式),自动化运维(Shell脚本/Linux系统),数据库管理(MySQL/PostgreSQL/MongoDB/Redis),容器化部署(Docker),版本控制(Git)

工作履历(脱敏处理)

专注于数据采集与处理领域,主导开发电商数据采集系统,实现多平台商品信息抓取、清洗及入库。设计分布式爬虫架构,采用Scrapy框架处理反爬机制,通过Playwright实现动态页面数据提取。优化数据处理流程,利用Pandas进行数据清洗和统计分析,提升数据处理效率30%。搭建自动化运维体系,编写Shell脚本实现定时任务和数据同步,降低人工干预成本。采用Docker容器化部署方案,提升系统可扩展性和稳定性。具备Git版本控制经验,支持团队协作开发与代码管理。

项目经验(脱敏处理)

电商数据采集系统:为某电商企业开发商品信息采集平台,采用Scrapy框架构建分布式爬虫架构,处理反爬机制及动态页面数据提取。使用Playwright实现复杂JS渲染页面的数据抓取,通过Redis缓存中间结果提升系统吞吐量。设计数据清洗流程,利用Pandas进行数据去重、格式标准化及统计分析,最终实现日均百万级数据的自动采集与入库。优化数据处理性能,通过并行计算和内存优化技术,将数据处理效率提升30%。搭建自动化运维体系,编写Shell脚本实现定时任务调度和数据同步,降低人工运维成本。采用Docker容器化部署方案,实现系统快速扩展和环境隔离,保障服务稳定性。

驻场外包优势

服从性高

严格遵守甲方管理制度

技术扎实

1年项目实战经验

可长期驻场

接受异地项目外派

快速响应

24小时内可到岗

企业人才对接

专业IT人力外包服务

如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求,欢迎联系洽谈合作。

合作热线

18969108718

商务邮箱

ntit@163.com

微信扫码咨询

微信咨询二维码

扫描二维码添加商务对接

立即申请人才对接