IT人力外包人才简历库

精通 HTTP 协议与 RESTful API 设计，掌握 HTML5/CSS3/JavaScript 前端技术栈，熟练运用正则表达式、XPath、BeautifulSoup 等数据提取技术。精通 Scrapy、Feapder 等分布式爬虫框架，具备反爬虫机制破解经验（包括 Obfuscation 混淆、AES 加密等）。熟悉 MySQL、MongoDB、Redis 数据库架构设计与优化，掌握数据清洗与存储入库技术。精通 Selenium 自动化工具及多线程/异步编程（aiohttp）提升爬虫效率，熟悉 Scrapyd/Gerapy 部署方案及 Docker 容器化技术。具备 Flask 后端框架开发能力，熟练使用 Linux 系统及 Git 版本管理工具。

主导完成多领域数据采集系统开发，包括新闻资讯、短视频榜单、电商商品、政务信息、金融数据、房地产数据及图片资源等。采用 Scrapy 框架构建分布式爬虫架构，通过 XPath 与正则表达式实现复杂网页数据提取，运用 Selenium 突破反爬机制。设计数据清洗流程，将采集数据存储至 MySQL/MongoDB/Redis 等数据库。开发自动化部署方案，基于 Docker 实现爬虫服务容器化部署。优化爬虫性能，通过多线程/异步编程提升数据采集效率300%。

1. 电商商品数据采集项目：采用 Scrapy-Redis 实现分布式爬虫，通过 AES 加密破解考古加网站反爬机制，完成商品名称、价格、销量等字段采集，建立数据清洗流程并存储至 MongoDB。2. 政务信息采集项目：使用 XPath 提取阳光问政网站咨询数据，设计翻页跳转逻辑处理，通过 Selenium 绕过验证码验证，实现政务信息自动化采集。3. 金融数据采集项目：开发基于 Flask 的数据处理接口，集成 Scrapy 框架完成乙方宝、同花顺等金融平台数据抓取，实现数据结构化存储与可视化展示。