IT人力外包人才简历库

返回列表

分布式爬虫工程师

驻场外包人员
工作年限:1年 意向城市:北京 浏览:2次 发布时间:近期

技能标签

Python爬虫 分布式爬虫 增量式采集 JS逆向 AES加密 RSA加密 DES加密 Selenium自动化 Scrapy框架 数据采集优化 加密算法破解 异步爬虫 动态渲染处理 高并发采集 数据解析

专业技能

精通Python爬虫技术,包括分布式爬虫架构设计、增量式数据采集策略,熟悉JS逆向解析、AES/RSA/DES加密算法破解,具备Selenium自动化测试及Scrapy框架深度应用能力。掌握异步爬虫开发、动态渲染页面处理、数据存储优化等核心技术,擅长构建高可用数据采集系统。

工作履历(脱敏处理)

专注于Python爬虫开发,主导构建分布式数据采集系统,实现日均10万条数据的稳定采集。设计增量式采集策略,有效降低重复采集成本。通过JS逆向解析技术突破加密反爬机制,成功完成多个影视数据平台的数据采集项目。优化异步爬虫架构,提升采集效率30%以上。结合Selenium自动化处理动态渲染页面,解决复杂前端加密逻辑的解析难题。持续改进数据存储方案,提升系统可扩展性与稳定性。

项目经验(脱敏处理)

某影视数据平台数据采集项目:针对OB混淆加密策略,采用动态执行环境搭建与逆向分析技术,成功解析加密逻辑并实现数据采集。通过异步爬虫架构优化,提升数据抓取效率30%以上。利用Selenium自动化处理动态渲染页面,结合Scrapy框架实现高并发数据采集,日均处理数据量达10万条。设计分布式爬虫架构,实现数据采集任务的负载均衡与故障转移,保障系统稳定运行。

驻场外包优势

服从性高

严格遵守甲方管理制度

技术扎实

1年项目实战经验

可长期驻场

接受异地项目外派

快速响应

24小时内可到岗

企业人才对接

专业IT人力外包服务

如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求,欢迎联系洽谈合作。

合作热线

18969108718

商务邮箱

ntit@163.com

微信扫码咨询

微信咨询二维码

扫描二维码添加商务对接

立即申请人才对接